[論文レビュー] ChatMusician: Understanding and Generating Music Intrinsically with LLM

Ruibin Yuan, Hanfeng Lin+33 more|arXiv (Cornell University)|Feb 25, 2024

Machine Learning in Materials Science被引用数 4

ひとこと要約

ChatMusician は、ABC記法を用いて微調整されたオープンソースの大規模言語モデルであり、外部のマルチモーダルコンponentを用いずにテキストトークナイザーのみで内在的な音楽理解と生成を可能にする。音楽生成および推論タスクにおいて GPT-4 や GPT-3.5 を上回り、ABC記法のパースィング成功率は 99.6% を達成し、一般言語能力は維持またはわずかに向上させた。MMLU スコアは 46.80 であった。

ABSTRACT

While Large Language Models (LLMs) demonstrate impressive capabilities in text generation, we find that their ability has yet to be generalized to music, humanity's creative language. We introduce ChatMusician, an open-source LLM that integrates intrinsic musical abilities. It is based on continual pre-training and finetuning LLaMA2 on a text-compatible music representation, ABC notation, and the music is treated as a second language. ChatMusician can understand and generate music with a pure text tokenizer without any external multi-modal neural structures or tokenizers. Interestingly, endowing musical abilities does not harm language abilities, even achieving a slightly higher MMLU score. Our model is capable of composing well-structured, full-length music, conditioned on texts, chords, melodies, motifs, musical forms, etc, surpassing GPT-4 baseline. On our meticulously curated college-level music understanding benchmark, MusicTheoryBench, ChatMusician surpasses LLaMA2 and GPT-3.5 on zero-shot setting by a noticeable margin. Our work reveals that LLMs can be an excellent compressor for music, but there remains significant territory to be conquered. We release our 4B token music-language corpora MusicPile, the collected MusicTheoryBench, code, model and demo in GitHub.

研究の動機と目的

• テキストベースのトークナイゼーションのみを用いて、内在的な音楽的能力を備えた大規模言語モデルの開発。
• 外部のマルチモーダルアーキテクチャに依存せずに、1つのLLM内で音楽生成と理解を統合すること。
• 大学レベルの基準に準拠した記号的音楽推論および作曲タスクにおけるモデルのパフォーマンス評価。
• 音楽とLLM分野の研究を前進させるために、包括的な音楽・言語データセット、ベンチマーク、モデルの公開。

提案手法

• ABC記法をテキスト互換の音楽表現として用い、40億トークンにのぼる音楽・言語コーパスを用いて、LLaMA2の継続的事前学習および微調整。
• 標準的なLLMトークナイザーと互換性を持つトークン列に音楽的構造をエンコードすることで、音楽を第二の言語として扱う。
• 和音、モチーフ、形式の条件付き生成など、多様な音楽生成タスクに対応する手作業によるインstructテンプレートの設計と適用。
• 記号的音楽理解のための大学レベルのベンチマークである MusicTheoryBench の導入。
• 汎化性と一貫性を評価するため、音楽生成および理解タスクにおけるゼロショット評価の実施。
• 生成されたABC記法を学習データの真値シーケンスと比較することで、記憶とま mixed 現象の分析。

実験結果

リサーチクエスチョン

• RQ1 ABC記法のようなテキスト互換の音楽表現のみで学習されたLLMは、強力な音楽生成および理解能力を達成できるか？
• RQ2 LLMに音楽的機能を統合することは、その一般言語能力を低下させるか、向上させるか？
• RQ3 調性、形式、構造に関する知識を要する複雑な記号的音楽推論タスクにおいて、モデルはどのように性能を発揮するか？
• RQ4 モデルは訓練データをどの程度記憶しているのか。著作権および教育的利用にどのような影響を及えるか？

主な発見

• ChatMusician は生成されたABC記法のパースィング成功率が 99.6% に達し、GPT-4（94.6%）および GPT-3.5（65.4%）を大きく上回った。
• 5つの音楽生成タスクすべてにおいて、GPT-4 やベースラインを上回り、全条件で平均パーセンタイルスコアが高く維持された。
• ChatMusician は MMLU スコア 46.80 を達成し、LLaMA2-7B-Base（46.79）をわずかに上回った。これは一般言語能力の低下がなく、むしろ向上している可能性を示している。
• MusicTheoryBench ベンチマークにおいて、ゼロショット設定で LLaMA2 や GPT-3.5 を上回り、記号的音楽推論能力の優位性が明らかになった。
• 記憶の影響は最小限に抑えられ、訓練データのシーケンスのうち 0.02% のみが完全に再現され、0.24% が部分的に一致（80%以上のトークン被覆率）した。
• 強力な性能を発揮しているものの、データセット構成の影響によりアイルランド音楽に偏りが強く、インstructの多様性が限られているため、オープンエンドの生成では課題を抱えている。