[論文レビュー] Lead Sheet Generation and Arrangement by Conditional Generative Adversarial Network

Hao-Min Liu, Yi‐Hsuan Yang|arXiv (Cornell University)|Jul 30, 2018

Music and Audio Processing参考文献 21被引用数 4

ひとこと要約

本稿では、ペairドデータセットが利用できない状況下でも、リードシートから音楽的に整合性のある複数楽器のアレンジメントを生成できる条件付き生成対抗ネットワーク（cGAN）を提案する。3つの記号的ドメインにおける和声特徴（カラムピアノロール、カラムビーツ、コードピアノロール）を導入することで、優れた性能を達成した。特に、コードピアノロールはユーザースタディーにおいて最高の聴覚的評価を得ており、総合的な満足度（MOS）は3.5675を記録した。

ABSTRACT

Research on automatic music generation has seen great progress due to the development of deep neural networks. However, the generation of multi-instrument music of arbitrary genres still remains a challenge. Existing research either works on lead sheets or multi-track piano-rolls found in MIDIs, but both musical notations have their limits. In this work, we propose a new task called lead sheet arrangement to avoid such limits. A new recurrent convolutional generative model for the task is proposed, along with three new symbolic-domain harmonic features to facilitate learning from unpaired lead sheets and MIDIs. Our model can generate lead sheets and their arrangements of eight-bar long. Audio samples of the generated result can be found at https://drive.google.com/open?id=1c0FfODTpudmLvuKBbc23VBCgQizY6-Rk

研究の動機と目的

• リードシートと完全なMIDIの間の新しいタスクとしてリードシートアレンジメントを提示することで、自動音楽生成分野におけるギャップを埋める。
• ペアドリードシートとMIDIデータセットの不足を補うために、非ペアドデータからの条件付き生成を可能にする。
• リードシートとその複数楽器アレンジメントを両方生成可能な、再帰的畳み込みcGANアーキテクチャを構築する。
• 条件付き生成のためのリードシートとMIDIの橋渡しを可能にする3つの記号的ドメインの和声特徴を設計・評価する。
• 時間的モデリングを向上させるために、時間的生成器における畳み込み層を再帰層に置き換える。

提案手法

• 3段階のcGANモデルを提案：リードシート生成、特徴抽出、アレンジメント生成。すべてに条件付き監視を適用する。
• 条件付きGANを用いて、リードシートを条件として5トラックのピアノロール（メロディ、ピアノ、ギター、弦楽器、ベース）を生成する。
• リードシートとMIDIの両方から算出される3つの和声特徴（カラムピアノロール、カラムビーツ、コードピアノロール）を導入し、クロスモーダルな条件付けを実現する。
• リードシートにおける繰り返しパターンのモデリングを改善するため、時間的生成器の標準的な畳み込み層を再帰層に置き換える。
• Dongらの畳み込みGANを拡張し、マルチトラックピアノロール生成に適用。リードシート生成およびアレンジメント生成の両方のタスクに適用する。
• 敵対的損失と知覚的指標を用いて、エンドツーエンドでモデルを訓練。評価には客観的指標とユーザースタディーを併用する。

実験結果

リサーチクエスチョン

• RQ1 非ペアドリードシートとMIDIデータセットから、音楽的に整合性のある複数楽器のアレンジメントを条件付きGANが効果的に生成できるか？
• RQ2 カラムピアノロール、カラムビーツ、コードピアノロールのうち、どの記号的ドメインの和声表現が、リードシートアレンジメントにおいて和声的・リズミカルな構造を最もよく保持するか？
• RQ3 時間的生成器に再帰層を用いることで、純粋に畳み込み構造を用いた設計と比較して、リードシート生成にどのような向上が見られるか？
• RQ4 生成されたアレンジメントが、調性、リズム性、総合的な音楽性という観点で、人間の感覚とどの程度一致するか？
• RQ5 リードシートアレンジメントは、単音メロディ生成と完全なマルチトラックMIDI合成の間の意味のある中間タスクとして機能できるか？

主な発見

• モデルは8小節のリードシートとそのアレンジメントを空欄のない状態で生成でき、安定した学習と高品質な出力を達成した。
• コードピアノロール特徴は、すべての知覚的指標においてカラムピアノロールおよびカラムビーツを上回り、ユーザースタディーにおける総合的満足度（MOS）は3.5675を記録した。
• カラムビーツ表現は、調性の面では良好な性能を示したが、時間分解能の損失によりリズム性の面で劣り、全体としての性能が低かった。
• 5,000イテレーション目で、トーナルディスタンス（TD）が6.69、妥当なノート比（QN）が0.84を記録し、実際のリードシート統計と強い一致を示した。
• 時間的生成器に再帰層を導入することで、リードシートにおける繰り返しパターンのモデリングが向上し、生成品質が向上した。
• ユーザースタディーの結果から、調性が総合的な音楽的満足度に与える影響がリズム性よりも顕著であることが示された。これは、コードロールと他の特徴との間でMOSに顕著な差が生じたことから裏付けられている。