[論文レビュー] Polyphonic Music Generation with Sequence Generative Adversarial Networks

Sang-gil Lee, Uiwon Hwang+2 more|arXiv (Cornell University)|Oct 31, 2017

Music Technology and Sound Studies被引用数 8

ひとこと要約

本稿では、持続時間、ピッチ、オクターブ、コードを捉えることができるコンパクトなワードベクトル表現にMIDIシーケンスを符号化することで、SeqGANベースの多音音楽生成手法を提案する。この手法は、敵対的訓練を通じて、より洗練された音楽的整合性とBLEUスコアを達成するRNNを用いて、一貫性のある音楽的シーケンスを生成する。本研究は、性能向上に不可欠である、強化学習信号の最適化が重要であることを示している。

ABSTRACT

We propose an application of sequence generative adversarial networks (SeqGAN), which are generative adversarial networks for discrete sequence generation, for creating polyphonic musical sequences. Instead of a monophonic melody generation suggested in the original work, we present an efficient representation of a polyphony MIDI file that simultaneously captures chords and melodies with dynamic timings. The proposed method condenses duration, octaves, and keys of both melodies and chords into a single word vector representation, and recurrent neural networks learn to predict distributions of sequences from the embedded musical word space. We experiment with the original method and the least squares method to the discriminator, which is known to stabilize the training of GANs. The network can create sequences that are musically coherent and shows an improved quantitative and qualitative measures. We also report that careful optimization of reinforcement learning signals of the model is crucial for general application of the model.

研究の動機と目的

• メロディとコードを同時にモデル化することで、SeqGANを単音楽器から多音楽器音楽生成へ拡張すること。
• 持続時間、ピッチクラス、オクターブ、コード情報のすべてを1つの埋め込みに符号化する、効率的で最小限の前処理が要る多音MIDIのワード表現を設計すること。
• GANを用いた敵対的訓練により、生成されたシーケンスの音楽的整合性と現実性を向上させること。
• 離散的シーケンス生成における強化学習信号の最適化が、シーケンス品質に与える影響を調査すること。
• 定量的（BLEU）および定性的（MOS）な指標を用いてモデルを評価し、知覚的品質を評価すること。

提案手法

• 音符の持続時間、ピッチクラス、オクターブ、コード情報を1つの埋め込みに符号化したワードベクトルとして多音MIDIシーケンスを表現する。
• ポリシー勾配強化学習で訓練されるRNNベースのジェネレータを用い、埋め込み音楽語彙空間からシーケンスを予測する。
• CNNを用いたディスクラミネータを実装し、実際のシーケンスと生成されたシーケンスを区別することで、ジェネレータの訓練に敵対的報酬を提供する。
• 標準GANと最小二乗GAN（LSGAN）の両方の損失関数を適用し、訓練の安定化と収束の改善を図る。
• 報酬信号の推定にモンテカルロ・ロールアウトとロールアウト方策を用い、ポリシー勾配の更新における露出バイアスを低減する。
• 敵対的微調整の前に、負の対数尤度（NLL）損失でジェネレータを事前学習することで、初期ポリシーの品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 SeqGANは、メロディとコードを含む音楽的に整合性のある多音シーケンスを効果的に生成できるか？
• RQ2 提案されたMIDIシーケンスのワードベクトル表現は、モデルが動的なテンポと和声構造を学習する能力にどのように影響するか？
• RQ3 GANを用いた敵対的訓練は、NLL事前学習と比較して、生成音楽の知覚的品質と多様性を向上させるか？
• RQ4 離散的シーケンス生成における成功に、強化学習信号の最適化が果たす役割は何か？
• RQ5 BLEUのような定量的指標は、音楽生成モデルの評価において、人間の知覚（MOS）とどの程度相関しているか？

主な発見

• 敵対的訓練により、SeqGANはNLL事前学習モデルと比較して、定量的（BLEUスコア）および定性的（MOS）な性能が顕著に向上した。
• 敵対的に訓練されたモデルからのシーケンスは、NLL事前学習による繰り返し的で短時間に限定された出力と比較して、長距離にわたる和声的一致性とより整合性のあるコード進行を示した。
• 敵対的訓練によりBLEUスコアが向上したが、一部のケースでは0.2未満にとどまり、さらなる改善の余地があることが示された。
• 最小二乗GAN（LSGAN）損失の使用により、標準GANと比較して訓練の安定化とモード崩壊の低減が達成された。
• 強化学習信号には高い分散があり、再現可能な性能向上を得るには複数回の訓練が必要であった。
• 人間評価（MOS）により、敵対的に訓練されたサンプルが、NLL事前学習されたサンプルよりも現実的で音楽的に整合性があると評価された。