[論文レビュー] SongComposer: A Large Language Model for Lyric and Melody Generation in Song Composition

Shuangrui Ding, Zihan Liu+7 more|arXiv (Cornell University)|Feb 27, 2024

Music and Audio Processing被引用数 4

ひとこと要約

SongComposer は、記号的楽曲表現を用いて、一貫性のある lyrics とメロディを生成する大規模言語モデルである。ピッチ、長さ、休符長のための特別なトークン化を導入し、大規模データセット（SongCompose-PT）で事前学習することで、GPT-4 を上回る性能を発揮し、トークン効率が高く、人間が読みやすい出力を実現した。

ABSTRACT

Creating lyrics and melodies for the vocal track in a symbolic format, known as song composition, demands expert musical knowledge of melody, an advanced understanding of lyrics, and precise alignment between them. Despite achievements in sub-tasks such as lyric generation, lyric-to-melody, and melody-to-lyric, etc, a unified model for song composition has not yet been achieved. In this paper, we introduce SongComposer, a pioneering step towards a unified song composition model that can readily create symbolic lyrics and melodies following instructions. SongComposer is a music-specialized large language model (LLM) that, for the first time, integrates the capability of simultaneously composing lyrics and melodies into LLMs by leveraging three key innovations: 1) a flexible tuple format for word-level alignment of lyrics and melodies, 2) an extended tokenizer vocabulary for song notes, with scalar initialization based on musical knowledge to capture rhythm, and 3) a multi-stage pipeline that captures musical structure, starting with motif-level melody patterns and progressing to phrase-level structure for improved coherence. Extensive experiments demonstrate that SongComposer outperforms advanced LLMs, including GPT-4, in tasks such as lyric-to-melody generation, melody-to-lyric generation, song continuation, and text-to-song creation. Moreover, we will release SongCompose, a large-scale dataset for training, containing paired lyrics and melodies in Chinese and English.

研究の動機と目的

• 記号的音楽表現を用いて、人間らしい方法で lyrics とメロディを両方生成できる大規模言語モデルの開発。
• 音声ベースの音楽モデリングの限界を克服するため、量子化された音声信号ではなく、構造的で人間が設計した記号的表記を用いる。
• 新しいタプルベースの表現を用いて、lyrics と音符の正確な整合性を実現する。
• 中国語と英語の両方を含む、大規模かつ多言語のペアド lyrics-melody データセット（SongCompose-PT）を用いてモデルを事前学習する。
• 10,000件のキュレート済み QA ペアを用いて指示に従う能力を向上させ、統一されたフレームワーク内で多様な楽曲生成タスクを可能にする。

提案手法

• 各 lyrics 語をその対応する音楽的属性（ピッチ、長さ、休符長）のタプルとして表現する新しい設計を採用し、意味的明確性と整合性を確保する。
• ピッチ（例：'F4'）、長さ（例：'1.0s'）、および休符長のための特別なトークンを導入し、LLM が音楽記号を直接解釈できるようにする。音声符号化は不要である。
• 280K件の lyrics、20K件のメロディ、15K件のペアド lyrics-melody セットを含む、中国語と英語の両方のデータを含む SongCompose-PT でモデルを事前学習し、音楽理解の基盤を構築する。
• 多様な楽曲生成タスク（例：lyric-to-melody、text-to-song）をカバーする 10,000件の QA 形式対話データを用いて、指示に従う能力をファインチューニングする。
• 記号的表現により、効率的で柔軟かつ人間が読みやすい出力が可能となり、音声ベースのトークン化と比較してトークン数を削減し、解釈可能性を向上させる。
• アブレーションスタディにより、正確なメロディ生成と整合性に、離散的長さおよびノートトークン化の必要性が裏付けられた。

Figure 1: An example of lyrics and melody alignment. It involves ensuring the lyrics precisely match with one or more melody notes, annotated with precise timestamps.

実験結果

リサーチクエスチョン

• RQ1 記号的楽曲表現を用いた大規模言語モデルは、一貫性があり音楽的に正確な lyrics とメロディを効果的に生成できるか？
• RQ2 楽曲生成における効率性、整合性、パフォーマンスの観点から、記号的表現は音声ベースのトークン化と比べてどのように異なるか？
• RQ3 大規模かつ多言語でペアドされた lyrics-melody データセットが、モデルの音楽-テキスト関係の学習能力に与える影響は何か？
• RQ4 QA ペアを用いた指示微調整により、モデルの多様な楽曲生成タスクへの汎用性はどの程度向上するか？
• RQ5 ピッチ、長さ、休符長のための特別なトークン化は、メロディおよび lyrics 生成におけるモデルのパフォーマンスを顕著に向上させるか？

主な発見

• SongComposer は lyric-to-melody 生成において GPT-4 を上回り、BERT スコア 0.653、メロディ長 (MD) 2.05 を達成した。GPT-4 はそれぞれ 0.600 と 2.45 であった。
• 事前学習中に純粋な lyrics データおよび純粋なメロディデータの両方を含めることで最高のパフォーマンスが得られ、モデル学習における相乗効果が示された。
• 離散的長さトークン化により、melody-to-lyric タスクで BERT スコアが 0.03 以上向上し、構造的音楽理解の重要性が確認された。
• 特別なノートトークンは、lyric-to-melody および melody-to-lyric タスクの両方でパフォーマンスを顕著に向上させ、明確さと学習効率を向上させた。
• ピッチ、長さ、休符長の完全なトークン化を用いる場合、出力フォーマットが正しくなる割合は 100% であった。一方、省略するとフォーマットエラーが発生した。
• アブレーションスタディにより、明示的な音楽的属性を備えた記号的表現は、暗黙の音声ベースモデリングに比べ、より正確で効率的な楽曲生成を可能にすることが確認された。

Figure 2: Pipeline of paired lyric-melody data collection.