[論文レビュー] Melody Generation for Pop Music via Word Representation of Musical Properties

Andrew Shin, Léopold Crestel+7 more|arXiv (Cornell University)|Oct 31, 2017

Music and Audio Processing参考文献 17被引用数 7

ひとこと要約

この論文では、ポップ音楽向けの新しいニューラルメロディ生成モデルを提案する。各ノートとその特性（ピッチ、持続時間、ベロシティなど）をシーケンス内の固有の「単語」として表現することで、コード進行と楽曲構成に条件づけられた再帰的アーキテクチャによりエンドツーエンドで生成が可能になる。このモデルは、先行手法よりも人間らしい、構造的に整合性があり、聴覚的に快適なメロディを生成し、人間の評価者による評価では、人間が作曲した楽曲と区別がつきにくい結果を得た。

ABSTRACT

Automatic melody generation for pop music has been a long-time aspiration for both AI researchers and musicians. However, learning to generate euphonious melody has turned out to be highly challenging due to a number of factors. Representation of multivariate property of notes has been one of the primary challenges. It is also difficult to remain in the permissible spectrum of musical variety, outside of which would be perceived as a plain random play without auditory pleasantness. Observing the conventional structure of pop music poses further challenges. In this paper, we propose to represent each note and its properties as a unique `word,' thus lessening the prospect of misalignments between the properties, as well as reducing the complexity of learning. We also enforce regularization policies on the range of notes, thus encouraging the generated melody to stay close to what humans would find easy to follow. Furthermore, we generate melody conditioned on song part information, thus replicating the overall structure of a full song. Experimental results demonstrate that our model can generate auditorily pleasant songs that are more indistinguishable from human-written ones than previous models.

研究の動機と目的

• ディープラーニングを用いて、音楽的に整合的で快適なポップ音楽のメロディを生成する課題に取り組む。
• ピッチ、持続時間、ダイナミクスなどの多次元的ノート特性をモデル化する複雑さを克服するため、各ノートをシーケンス内の単一の「単語」として扱う。
• 楽曲構成情報（例：ヴァース、コーラスなど）とコード進行に条件づけて生成することで、構造的整合性を強化する。
• トレーニング中にピッチレンジに正則化を適用することで、過学習を低減し、歌いやすさを向上させる。
• 人間が作曲した楽曲と区別がつかないほど多様で高品質なメロディの生成を可能にする。

提案手法

• 各ノートがピッチ、持続時間、ベロシティを統合した固有の「単語」として符号化され、多次元的特徴を1つの離散トークンに統合することで、次元削減とモデル複雑性の低減が達成される。
• 再帰的ニューラルネットワーク（RNN）が、コードシーケンスと楽曲構成ラベルに条件づけられた条件付き自己回帰的アプローチで、単語単位でメロディを生成する。
• コードシーケンスと楽曲構成ラベルは、独自のデータセット上でトレーニングされた多項分布型隠れマルコフモデル（HMM）を用いて自動抽出される。
• ピッチレンジ正則化損失を導入し、過度なピッチ変動をペナルティ化することで、歌いやすさと人間らしいレンジの維持を促進する。
• 標準的なRNNトレーニングに加え、GANを用いた敵対的トレーニングを実施することで、生成サンプルの多様性を向上させる。
• 人間による聴取テストと定量的指標を用いた評価が行われ、損失関数やトレーニングスケジュールに関するアブレーションスタディも実施された。

実験結果

リサーチクエスチョン

• RQ1 複数の特性を統合した「単語」としてノートを表現することで、メロディ生成の品質向上とトレーニング複雑性の低減が図れるか？
• RQ2 楽曲構成情報（例：コーラス対ヴァース）に条件づけて生成することで、生成メロディの構造的整合性と聴覚的品質にどのような影響を与えるか？
• RQ3 ピッチレンジ正則化が、生成メロディの歌いやすさと人間らしさにどの程度向上効果をもたらすか？
• RQ4 GANを用いた敵対的トレーニングにより、音質を損なわず生成メロディの多様性が向上するか？
• RQ5 人間評価において、本モデルは先行手法と比較して、生成メロディと人間作曲楽曲の区別がどの程度困難になるか？

主な発見

• 音楽的特性の単語表現により、多次元的ノート特徴を1つのトークンに統合することで、モデルの複雑性が顕著に低減され、トレーニング効率が向上した。
• 楽曲構成情報に条件づけることで、構造的に整合性のあるメロディが生成され、特にコーラスでは高いピッチレンジと記憶に残りやすいモチーフが再現された。
• ピッチレンジ正則化損失は、過度に広いレンジや歌いにくいメロディの生成を効果的に防止し、歌いやすさを向上させた。
• 人間評価では、本モデルが生成したメロディが、先行モデルのものよりも人間が作曲した楽曲と区別がつきにくく、顕著に優れた結果を示した。
• GANを用いた敵対的トレーニングにより、生成サンプルの多様性が向上したが、モード崩壊の問題が発生し、同じ入力に対して繰り返しのメロディが生成された。
• モデルは他の楽器に対しても良好に一般化された：ベース、ピアノ、弦楽器用の別々のモデルを成功裏にトレーニングし、チューニングが正確でコードに合ったトラックを生成したが、楽器間の相互作用をモデル化していないため、マルチトラックの組み合わせは不協和となった。