[논문 리뷰] M$^{2}$UGen: Multi-modal Music Understanding and Generation with the Power of Large Language Models

Shansong Liu, Atin Sakkeer Hussain외 3명|arXiv (Cornell University)|2023. 11. 19.

Music and Audio Processing인용 수 5

한 줄 요약

M²UGen은 대규모 언어모델(LaMA 2)을 활용하여 다중모달 음악 이해와 생성을 통합적으로 수행하는 프레임워크로, 음성, 이미지, 영상 인코딩에 각각 MERT, ViT, ViViT를 사용한다. 음악 생성 및 편집에서 CoDi, CMT, NExT-GPT와 같은 모델들을 초월하는 최신 기술 성능을 달성하며, 다양한 지표와 인간 평가에서 뛰어난 성능을 보인다.

ABSTRACT

The current landscape of research leveraging large language models (LLMs) is experiencing a surge. Many works harness the powerful reasoning capabilities of these models to comprehend various modalities, such as text, speech, images, videos, etc. They also utilize LLMs to understand human intention and generate desired outputs like images, videos, and music. However, research that combines both understanding and generation using LLMs is still limited and in its nascent stage. To address this gap, we introduce a Multi-modal Music Understanding and Generation (M$^{2}$UGen) framework that integrates LLM's abilities to comprehend and generate music for different modalities. The M$^{2}$UGen framework is purpose-built to unlock creative potential from diverse sources of inspiration, encompassing music, image, and video through the use of pretrained MERT, ViT, and ViViT models, respectively. To enable music generation, we explore the use of AudioLDM 2 and MusicGen. Bridging multi-modal understanding and music generation is accomplished through the integration of the LLaMA 2 model. Furthermore, we make use of the MU-LLaMA model to generate extensive datasets that support text/image/video-to-music generation, facilitating the training of our M$^{2}$UGen framework. We conduct a thorough evaluation of our proposed framework. The experimental results demonstrate that our model achieves or surpasses the performance of the current state-of-the-art models.

연구 동기 및 목표

• 대규모 언어모델(LLM)을 활용한 통합 음악 이해 및 생성에 대한 제한된 연구를 해결하기 위해.
• 통합 LLM 기반 프레임워크를 통해 텍스트, 이미지, 영상 등 다중모달 입력을 음악 생성과 연결하기 위해.
• MU-LLaMA 모델을 사용하여 텍스트/이미지/영상에서 음악 생성을 위한 대규모이고 다양한 데이터셋을 구축하기 위해.
• LLaMA 2의 추론 및 이해 능력을 활용해 자연어 프롬프트 기반 음악 편집 능력을 향상시키기 위해.
• 다양한 모odal 및 작업에 걸쳐 프레임워크를 평가하며 주관적 인간 평가를 포함하기 위해.

제안 방법

• 모odal 특화 특징을 추출하기 위해 음악 인코딩에 MERT, 이미지 인코딩에 ViT, 영상 인코딩에 ViViT를 사용한다.
• 다중모달 입력을 이해하고 응답(음악 포함)을 생성하기 위해 중심 추론 모델로 LLaMA 2를 활용한다.
• 텍스트에서 음악 생성 및 다중모달에서 음악 생성을 위해 AudioLDM 2와 MusicGen을 음악 디코더로 통합한다.
• 학습을 위한 합성 데이터 생성을 위해 MU-LLaMA 모델을 전용 음악 질의응답 데이터셋으로 훈련시킨다.
• 음악 생성 및 편집의 정량적 평가를 위해 FAD, KL 발산, 로그 스펙트럼 거리(LSD)를 적용한다.
• 입력 모달(이미지/영상)과 생성된 음악 간의 정렬도를 측정하기 위해 ImageBind 순위(IB Rank)를 사용한다.

Figure 2: Multi-modal Music Understanding and Generation Model (M 2 UGen). The model is divided into four parts (from left to right): (1) Pre-trained feature encoders to generate representations from music/images/videos; (2) Multi-modal understanding adapters to fuse the modality representations int

실험 결과

연구 질문

• RQ1 통합 LLM 기반 프레임워크가 음악 이해와 다중모달 음악 생성을 효과적으로 동시에 수행할 수 있는가?
• RQ2 LLaMA 2와 MERT, ViT, ViViT의 통합이 텍스트, 이미지, 영상에서의 교차모달 음악 생성을 어떻게 향상시키는가?
• RQ3 LLaMA 2 모델의 추론 능력이 자연어 프롬프트 기반 음악 편집에 얼마나 기여하는가?
• RQ4 M²UGen은 CoDi, CMT, NExT-GPT와 같은 최신 기술 모델들과 비교해 입력 모달에 부합하는 음악 생성에서 어떤 성능을 보이는가?
• RQ5 사람들은 M²UGen이 생성한 음악을 텍스트, 이미지, 영상에서 음악 생성 작업에서 어느 정도 선호하는가?

주요 결과

• M²UGen v2는 음악 편집에서 FAD(2.191)와 KL(5.118) 점수를 모두 최저 기록하여 AUDIT 및 InstructME를 초월한다.
• 이미지에서 음악 생성에서 M²UGen v2는 IB Rank 0.819를 기록하여 CoDi(0.688)를 능가하며 강력한 모달 정렬을 보인다.
• 영상에서 음악 생성에서 M²UGen v2는 최고의 IB Rank(0.850)를 기록하여 CMT(0.629)와 CoDi(0.721)를 모두 앞선다.
• 주관적 평가에서 M²UGen v2는 이미지에서 음악 생성 작업에서 58%의 선호도를 기록했으며, 영상에서 음악 생성 작업에서는 45%의 선호도를 기록하여 NExT-GPT 및 CMT를 크게 앞서며 뚜렷한 승리를 거두었다.
• 모든 평가된 작업, 즉 음악 이해, 편집, 다중모달 생성에서 최신 기술 성능을 달성한다.

Figure 3: A Detailed Structure of Multi-modal Understanding Adapter’s Dense Network. Each sub-block consists of normalization, a linear layer, and SiLU activation function components. The input from the previous layer is also propagated to the next layer through a skip connection.