[論文レビュー] TeleMelody: Lyric-to-Melody Generation with a Template-Based Two-Stage Method

Zeqian Ju, Peiling Lu+8 more|arXiv (Cornell University)|Sep 20, 2021

Music and Audio Processing参考文献 22被引用数 7

ひとこと要約

TeleMelodyは、調性、コード進行、リズムパターン、cadence（終止）からなる音楽テンプレートを介して歌詞とメロディーを結ぶ二段階の歌詞からメロディー生成フレームワークを提案する。歌詞からテンプレートへの生成とテンプレートからメロディーへの生成を分離することで、ペaired歌詞・メロディーデータの必要を著しく削減しつつ、より高いメロディー品質と制御性を達成し、客観的および主観的評価の両面でエンドツーエンドモデルを上回る性能を発揮する。

ABSTRACT

Lyric-to-melody generation is an important task in automatic songwriting. Previous lyric-to-melody generation systems usually adopt end-to-end models that directly generate melodies from lyrics, which suffer from several issues: 1) lack of paired lyric-melody training data; 2) lack of control on generated melodies. In this paper, we develop TeleMelody, a two-stage lyric-to-melody generation system with music template (e.g., tonality, chord progression, rhythm pattern, and cadence) to bridge the gap between lyrics and melodies (i.e., the system consists of a lyric-to-template module and a template-to-melody module). TeleMelody has two advantages. First, it is data efficient. The template-to-melody module is trained in a self-supervised way (i.e., the source template is extracted from the target melody) that does not need any lyric-melody paired data. The lyric-to-template module is made up of some rules and a lyric-to-rhythm model, which is trained with paired lyric-rhythm data that is easier to obtain than paired lyric-melody data. Second, it is controllable. The design of template ensures that the generated melodies can be controlled by adjusting the musical elements in template. Both subjective and objective experimental evaluations demonstrate that TeleMelody generates melodies with higher quality, better controllability, and less requirement on paired lyric-melody data than previous generation systems.

研究の動機と目的

• エンドツーエンドの歌詞からメロディー生成システムにおけるペアド歌詞・メロディー学習データの不足に取り組む。
• 調性やコード進行などの音楽的要素のユーザー操作を可能にすることで、生成メロディーの制御性を向上させる。
• 複雑な歌詞からメロディーへのタスクを、歌詞からテンプレートへの生成とテンプレートからメロディーへの生成という二つの管理しやすいサブタスクに分解する。
• 自己教師あり学習とルールベースまたはデータマイニングによるペアドデータ（例：歌詞・リズム）を活用することで、高コストな歌詞・メロディーペアに依存しないデータ効率性を高める。
• テンプレートからメロディーへのモジュールで知識を活用したアテンションメカニズムを導入し、生成メロディーの整合性と音楽的整合性を向上させる。

提案手法

• 二段階のフレームワークを導入：まず、歌詞から音楽テンプレート（調性、コード進行、リズムパターン、終止）を予測する歌詞からテンプレートへのモジュールを実装し、次に、テンプレートからメロディーを生成するテンプレートからメロディーへのモジュールを実装する。
• ターゲットメロディーからテンプレートを抽出することで、自己教師あり学習の形でテンプレートからメロディーへのモジュールを訓練し、ペアド歌詞・メロディーデータの必要性を排除する。
• 容易に入手可能な音声・歌詞ペアから得られるペアド歌詞・リズムデータで訓練された学習済みの歌詞からリズムへのモデルを活用し、テンプレート内のリズムパターンを予測する。
• 標点のマッピングから終止を推定し、調性とコード進行を事前に定義された音楽的ルールで定義する。
• テンプレートからメロディーへのシーケンス・トゥ・シーケンスモデルに、音楽的知識を活用したアテンション正則化を適用し、整合性と制御性を向上させる。
• 外部の歌詞・音声データを活用してデータマイニングを実施し、人為的ラベル付き歌詞・メロディーペアが存在しない状況でも、システムが効果的に機能できるようにする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドモデルと比較して、二段階のテンプレートベースのフレームワークは、歌詞からメロディーへの生成におけるデータ依存性を低減できるか？
• RQ2 テンプレートベースの設計により、調性やコード進行などの音楽的要素のユーザー操作が、生成メロディーの制御性をどの程度向上できるか？
• RQ3 クロールされた歌詞・リズムデータと人為的ラベル付き歌詞・メロディーデータで学習した場合、システムの性能にどのような差が生じるか？
• RQ4 ペアド歌詞・メロディーデータが一切不要な状態で、テンプレート・メロディーペアに対する自己教師あり学習が、競争力のある性能を達成できるか？
• RQ5 テンプレートからメロディーへのモジュールにおける知識を活用したアテンションが、より良い整合性と高いメロディー品質をもたらすか？

主な発見

• TeleMelodyは、人為的ラベル付き歌詞・リズムデータで学習した場合、46.73% PD、52.95% DD、2.36 MDという優れた客観的指標を達成し、SongMASS（34.32% PD、47.88% DD、2.61 MD）を上回る性能を示した。
• 100%クロールされた歌詞・リズムデータでの学習でも、強力な性能（43.86% PD、52.06% DD、2.40 MD）を維持し、人為的ラベル付きデータと比較して劣化が最小限に抑えられた。
• クロールデータの50%のみで学習しても、競争力のある結果（41.42% PD、48.59% DD、2.40 MD）が得られ、高いデータ効率性を示した。
• 歌詞からリズムへのモデルを手作業のルールに置き換えた場合（ペアドデータなし）、顕著な性能低下（35.60% PD、47.93% DD、2.55 MD）が生じ、学習済みモデルの価値を裏付けた。
• 主観的評価において、TeleMelodyはエンドツーエンドモデルと比較して、より高い認識品質と優れた制御性を持つメロディーを生成した。
• テンプレートベースの設計により、調性、コード進行、リズムに対する有効なユーザー制御が可能となり、固定生成システムにとどまらない応用範囲が拡張された。