[論文レビュー] M$^{2}$UGen: Multi-modal Music Understanding and Generation with the Power of Large Language Models

Shansong Liu, Atin Sakkeer Hussain+3 more|arXiv (Cornell University)|Nov 19, 2023

Music and Audio Processing被引用数 5

ひとこと要約

M²UGen は、大規模言語モデル（LLaMA 2）を活用して、MERT、ViT、ViViT を用いて音声、画像、動画の符号化を行うことで、マルチモーダル音楽理解と生成を統合的に実行するフレームワークです。テキスト／画像／動画から音楽への生成および音楽編集において、CoDi や CMT、NExT-GPT などのモデルを複数の指標および人間評価で上回り、最先端の性能を達成しています。

ABSTRACT

The current landscape of research leveraging large language models (LLMs) is experiencing a surge. Many works harness the powerful reasoning capabilities of these models to comprehend various modalities, such as text, speech, images, videos, etc. They also utilize LLMs to understand human intention and generate desired outputs like images, videos, and music. However, research that combines both understanding and generation using LLMs is still limited and in its nascent stage. To address this gap, we introduce a Multi-modal Music Understanding and Generation (M$^{2}$UGen) framework that integrates LLM's abilities to comprehend and generate music for different modalities. The M$^{2}$UGen framework is purpose-built to unlock creative potential from diverse sources of inspiration, encompassing music, image, and video through the use of pretrained MERT, ViT, and ViViT models, respectively. To enable music generation, we explore the use of AudioLDM 2 and MusicGen. Bridging multi-modal understanding and music generation is accomplished through the integration of the LLaMA 2 model. Furthermore, we make use of the MU-LLaMA model to generate extensive datasets that support text/image/video-to-music generation, facilitating the training of our M$^{2}$UGen framework. We conduct a thorough evaluation of our proposed framework. The experimental results demonstrate that our model achieves or surpasses the performance of the current state-of-the-art models.

研究の動機と目的

• 大規模言語モデル（LLM）を用いた統合的音楽理解と生成に関する限られた研究を補完すること。
• テキスト、画像、動画などのマルチモーダル入力を、統合的 LLM ベースのフレームワークを通じて音楽生成に統合すること。
• MU-LLaMA モデルを用いて、テキスト／画像／動画から音楽への生成を対象とした大規模かつ多様なデータセットを構築すること。
• LLaMA 2 の推論および理解能力を活用して、自然言語プロンプトに基づく音楽編集の能力を向上させること。
• 複数のモダリティおよびタスクにわたるフレームワークの評価を実施し、主観的な人間評価を含むこと。

提案手法

• 音声、画像、動画の各モダリティ固有の特徴を抽出するために、音楽符号化に MERT、画像符号化に ViT、動画符号化に ViViT を使用する。
• マルチモーダル入力を理解し、音楽を含む応答を生成する中心的な推論モデルとして LLaMA 2 を使用する。
• テキストから音楽への生成およびマルチモーダルから音楽への生成に、AudioLDM 2 および MusicGen を音楽デコーダーとして統合する。
• MU-LLaMA モデルを、音楽質問応答データセット上で訓練することで、合成データを生成し、学習に活用する。
• 音楽生成および編集の定量的評価に、FAD、KL 散布度、およびログスペクトル距離（LSD）を適用する。
• 入力モダリティ（画像／動画）と生成された音楽の整合性を測定するために、ImageBind ランキング（IB Rank）を用いる。

Figure 2: Multi-modal Music Understanding and Generation Model (M 2 UGen). The model is divided into four parts (from left to right): (1) Pre-trained feature encoders to generate representations from music/images/videos; (2) Multi-modal understanding adapters to fuse the modality representations int

実験結果

リサーチクエスチョン

• RQ1 統合的 LLM ベースのフレームワークは、音楽理解とマルチモーダル音楽生成の両方を効果的に実行できるか？
• RQ2 MERT、ViT、ViViT と LLaMA 2 の統合は、テキスト、画像、動画からのクロスモーダル音楽生成をどのように向上させるか？
• RQ3 LLaMA 2 モデルの推論能力は、自然言語プロンプトに基づく音楽編集をどの程度向上させるか？
• RQ4 M²UGen は、CoDi や CMT、NExT-GPT といった最先端モデルと比較して、入力モダリティに整合した音楽生成においてどの程度優れているか？
• RQ5 M²UGen が生成する音楽は、テキスト／画像／動画から音楽へのタスクにおいて、人間の好みにどの程度適合しているか？

主な発見

• M²UGen v2 は、音楽編集において FAD（2.191）と KL（5.118）のスコアが最低となり、AUDIT や InstructME を上回った。
• 画像から音楽への生成では、M²UGen v2 が IB Rank（0.819）を達成し、CoDi（0.688）を上回り、強力なモダリティ整合性を示した。
• 動画から音楽への生成では、M²UGen v2 が最高の IB Rank（0.850）を記録し、CMT（0.629）と CoDi（0.721）を上回った。
• 主観的評価では、M²UGen v2 が画像から音楽へのタスクで 58% の好まれ方を獲得し、動画から音楽へのタスクでは 45% を記録し、NExT-GPT や CMT を顕著に上回った。
• 音楽理解、編集、マルチモーダル生成を含む、すべての評価タスクで最先端の性能を達成した。

Figure 3: A Detailed Structure of Multi-modal Understanding Adapter’s Dense Network. Each sub-block consists of normalization, a linear layer, and SiLU activation function components. The input from the previous layer is also propagated to the next layer through a skip connection.