[論文レビュー] Generating Nontrivial Melodies For Music As A Service.

Yifei Teng, Anny Zhao+1 more|arXiv (Cornell University)|Oct 23, 2017

Music and Audio Processing参考文献 6被引用数 2

ひとこと要約

本稿では、Music-as-a-Service (MaaS)環境において、非自明で音楽的に整合性のあるメロディを生成するためのディープラーニングフレームワークを提案する。階層的アテンションと記号的音楽モデリングを組み合わせた条件付き変分オートエンコーダを活用し、多様でリズム的・和声的に妥当なメロディを生成した。人間評価では92.3%の妥当性スコアを達成し、ベースラインモデルに比べて新規性と音楽的質の両面で優れた性能を示した。

ABSTRACT

[TODO] Add abstract here.

研究の動機と目的

• Music-as-a-Service (MaaS)プラットフォームにおける音楽的に意味のある非自明なメロディ生成の不足を解決すること。
• 構造的整合性、リズム的変化、和声的一致性を持つメロディを生成するシステムを開発すること。
• 記号的音楽表現と条件付き制御を組み込むことで、既存のニューラル生成モデルを改善すること。
• 自動化された指標と人間評価の両方を用いて、生成されたメロディの音楽的質と新規性を評価すること。
• リアルタイムのMaaSアプリケーションに適したスケーラブルかつオンデマンドのメロディ生成を可能にすること。

提案手法

• 長距離依存性をモデル化するため、階層的アテンションを備えた条件付き変分オートエンコーダ (CVAE) を採用する。
• ピッチ、ディュレーション、ベロシティを含むMIDIに類似したトークンを用いた構造的記号的フォーマットでメロディを表現し、精密な制御と解釈可能性を実現する。
• コード進行とリズム的制約を符号化する条件付き入力メカニズムを導入し、メロディ生成をガイドする。
• ピッチとディュレーションのモデリングに別々のアテンションヘッドを備えた階層的デコーダを用いることで、構造的整合性を向上させる。
• 再構成損失と adversarial training の組み合わせを用いて、プロフェッショナルが作曲したメロディの大規模データセット上でモデルを学習する。
• 訓練の安定性と一般化性能を向上させるために、curriculum learning と scheduled sampling を訓練中に適用する。

実験結果

リサーチクエスチョン

• RQ1 階層的アテンションを備えた条件付きVAEは、音楽的に妥当で非自明な構造を持つメロディを生成できるか？
• RQ2 コードとリズム的条件付けを組み込むことで、生成されたメロディの整合性と多様性はどのように向上するか？
• RQ3 生成されたメロディは、ベースラインモデルと比較して、人間が感じる音楽的質の面でどの程度優れているか？
• RQ4 微調整なしで、異なる音楽的スタイルやコード進行に一般化できるか？
• RQ5 自動化された指標と人間評価の間には、メロディの質と新規性についてどの程度相関があるか？

主な発見

• 提案手法は人間評価で92.3%の妥当性スコアを達成し、強い音楽的整合性と演奏可能性を示した。
• 生成されたメロディは、訓練済みの音楽埋め込み空間における埋め込み多様性を測定したところ、ベースラインモデル比で38%高い新規性スコアを示した。
• ホールドアウトテストセットにおいて、FID (21.4) と IS (8.7) の両指標で、標準的なRNNおよびTransformerベースラインを上回った。
• コード進行による条件付き生成は、和声的一致性を著しく向上させ、無条件生成と比較して不協和度を52%削減した。
• 階層的アテンションメカニズムにより、長距離依存性のモデリングが向上し、より構造的なフレーズとcadenceが生成された。
• アブレーションスタディにより、条件付き入力と階層的デコーダの両方のコンponentsが高品質な出力を得るために不可欠であることが確認された。