[论文解读] M$^{2}$UGen: Multi-modal Music Understanding and Generation with the Power of Large Language Models

Shansong Liu, Atin Sakkeer Hussain+3 more|arXiv (Cornell University)|Nov 19, 2023

Music and Audio Processing被引用 5

一句话总结

M²UGen 是一个统一框架，利用大型语言模型（LLaMA 2）联合执行多模态音乐理解与生成，采用 MERT、ViT 和 ViViT 分别对音频、图像和视频进行编码。该框架在文本/图像/视频到音乐生成以及音乐编辑任务中达到最先进性能，优于 CoDi、CMT 和 NExT-GPT 等模型，在多项指标和人工评估中表现更优。

ABSTRACT

The current landscape of research leveraging large language models (LLMs) is experiencing a surge. Many works harness the powerful reasoning capabilities of these models to comprehend various modalities, such as text, speech, images, videos, etc. They also utilize LLMs to understand human intention and generate desired outputs like images, videos, and music. However, research that combines both understanding and generation using LLMs is still limited and in its nascent stage. To address this gap, we introduce a Multi-modal Music Understanding and Generation (M$^{2}$UGen) framework that integrates LLM's abilities to comprehend and generate music for different modalities. The M$^{2}$UGen framework is purpose-built to unlock creative potential from diverse sources of inspiration, encompassing music, image, and video through the use of pretrained MERT, ViT, and ViViT models, respectively. To enable music generation, we explore the use of AudioLDM 2 and MusicGen. Bridging multi-modal understanding and music generation is accomplished through the integration of the LLaMA 2 model. Furthermore, we make use of the MU-LLaMA model to generate extensive datasets that support text/image/video-to-music generation, facilitating the training of our M$^{2}$UGen framework. We conduct a thorough evaluation of our proposed framework. The experimental results demonstrate that our model achieves or surpasses the performance of the current state-of-the-art models.

研究动机与目标

• 为解决利用大型语言模型（LLMs）进行统一音乐理解与生成的研究有限的问题。
• 通过基于大型语言模型的统一框架，弥合多模态输入（文本、图像、视频）与音乐生成之间的鸿沟。
• 利用 MU-LLaMA 模型构建大规模、多样化的文本/图像/视频到音乐生成数据集。
• 利用 LLaMA 2 的推理与理解能力，通过自然语言提示提升音乐编辑能力。
• 在多种模态和任务上对框架进行评估，包括主观人工评估。

提出的方法

• 采用 MERT 作为音乐编码器，ViT 用于图像编码，ViViT 用于视频编码，以提取模态特异性特征。
• 使用 LLaMA 2 作为核心推理模型，理解多模态输入并生成响应，包括音乐内容。
• 集成 AudioLDM 2 和 MusicGen 作为音乐解码器，用于文本到音乐及多模态到音乐的生成。
• 在专用的音乐问答数据集上训练 MU-LLaMA 模型，以生成合成数据用于后续训练。
• 采用 FAD、KL 散度和对数谱失真（LSD）对音乐生成与编辑进行定量评估。
• 使用 ImageBind 排名（IB Rank）衡量输入模态（图像/视频）与生成音乐之间的对齐程度。

Figure 2: Multi-modal Music Understanding and Generation Model (M 2 UGen). The model is divided into four parts (from left to right): (1) Pre-trained feature encoders to generate representations from music/images/videos; (2) Multi-modal understanding adapters to fuse the modality representations int

实验结果

研究问题

• RQ1 基于统一大型语言模型的框架能否有效同时实现音乐理解与多模态音乐生成？
• RQ2 将 MERT、ViT 和 ViViT 与 LLaMA 2 集成后，如何提升从文本、图像和视频生成跨模态音乐的能力？
• RQ3 LLaMA 2 模型的推理能力在多大程度上增强了基于自然语言提示的音乐编辑性能？
• RQ4 M²UGen 在生成与输入模态对齐的音乐方面，与 CoDi、CMT 和 NExT-GPT 等最先进模型相比表现如何？
• RQ5 在文本、图像和视频到音乐任务中，人类对 M²UGen 生成音乐的偏好程度如何？

主要发现

• M²UGen v2 在音乐编辑任务中取得最低的 FAD（2.191）和 KL（5.118）得分，优于 AUDIT 和 InstructME。
• 在图像到音乐生成任务中，M²UGen v2 的 IB Rank 达到 0.819，超过 CoDi（0.688），展现出强大的模态对齐能力。
• 在视频到音乐生成任务中，M²UGen v2 的 IB Rank 达到最高值 0.850，优于 CMT（0.629）和 CoDi（0.721）。
• 主观评估显示，M²UGen v2 在图像到音乐任务中获得 58% 的偏好，在视频到音乐任务中获得 45% 的偏好，显著优于 NExT-GPT 和 CMT。
• 该模型在所有评估任务中均达到最先进性能，涵盖音乐理解、编辑与多模态生成。

Figure 3: A Detailed Structure of Multi-modal Understanding Adapter’s Dense Network. Each sub-block consists of normalization, a linear layer, and SiLU activation function components. The input from the previous layer is also propagated to the next layer through a skip connection.