[論文レビュー] Learning a Latent Space of Multitrack Measures

Ian Simon, Adam P. Roberts+4 more|arXiv (Cornell University)|Jun 1, 2018

Music and Audio Processing参考文献 27被引用数 35

ひとこと要約

本稿では、記号的MIDI表現を分離可能な潜在空間に符号化する条件付きVAEを用いて、8トラックまで対応可能な動的・マイクロティミング対応の多トラックポリフォニック音楽メジャーの潜在空間モデルを提案する。MusicVAEを拡張し、コード条件付き処理を導入することで、調性と編曲を分離し、調性と編曲を独立に制御可能にした。これにより、補間、属性操作、一貫性のある長尺なシーケンス生成といった音楽的に意味のある操作が可能になる。

ABSTRACT

Discovering and exploring the underlying structure of multi-instrumental music using learning-based approaches remains an open problem. We extend the recent MusicVAE model to represent multitrack polyphonic measures as vectors in a latent space. Our approach enables several useful operations such as generating plausible measures from scratch, interpolating between measures in a musically meaningful way, and manipulating specific musical attributes. We also introduce chord conditioning, which allows all of these operations to be performed while keeping harmony fixed, and allows chords to be changed while maintaining musical "style". By generating a sequence of measures over a predefined chord progression, our model can produce music with convincing long-term structure. We demonstrate that our latent space model makes it possible to intuitively control and generate musical sequences with rich instrumentation (see https://goo.gl/s2N7dV for generated audio).

研究の動機と目的

• 深層生成モデルを用いて多トラックポリフォニック音楽メジャーの潜在構造をモデル化すること。
• 共通の潜在空間内で、補間や属性操作といった直感的で音楽的に意味のある操作を可能にすること。
• コード条件付き処理により調性と編曲を分離し、調性と編曲を独立に制御できること。
• 潜在コードの補間と事前定義されたコード進行を組み合わせることで、一貫性のある長尺な音楽的シーケンスを生成すること。

提案手法

• イベントベース表現を用いて、最大8トラックのポリフォニックMIDIトラックを、動的およびマイクロティミングを考慮してモデル化する。
• ガウス事前分布と自己回帰的RNNデコーダーを備えた条件付きVAEを採用し、潜在空間内のノートイベントをモデル化する。
• 潜在状態内のピッチクラス分布から推定されたコード情報に基づき、デコーダーをコードで条件づける。
• 潜在空間における球面線形補間（slerp）を用いて、2つの音楽的メジャー間の滑らかな変化を生成する。
• 属性ベクトルの算術を適用し、特定の属性（例：ノート密度、楽器種別）を持つ例と持たない例の平均潜在差分を計算する。
• 楽器ごとにオン/オフ時刻、ピッチ、ベロシティ、プログラム変更を符号化する階層的イベント表現を採用する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、多トラック音楽における調性的構造と編曲的構造を分離可能な潜在空間に学習できるか？
• RQ2 潜在空間における補間は、2つの異なる音楽的メジャー間で音楽的に一貫した遷移を生成できるか？
• RQ3 再トレーニングなしで、潜在ベクトル算術による属性固有の操作（例：ノート密度の増加）をどの程度達成できるか？
• RQ4 コード条件付き処理により、調性と楽器編成を独立に制御しながらもスタイルの一貫性を保てるか？
• RQ5 潜在コードの補間と固定されたコード進行を組み合わせることで、長尺で一貫性のある音楽的シーケンスを生成できるか？

主な発見

• 事前分布からの多様で妥当な多トラックメジャーが生成可能であり、ゼロショット生成能力が顕著に示された。
• 潜在空間における補間により、リズム的・調性的進化が人間の聴覚に一貫した滑らかな遷移が得られ、音楽的に意味のある変化が実現された。
• 属性ベクトル算術により、ピッチレンジ、楽器数、トーンカラーの識別子といった音楽的属性の効果的制御が可能になったが、再トレーニングは不要だった。
• コード条件付き処理により、異なる調性的文脈においても一貫した楽器的・リズム的パターンが維持され、グルーブベースの音楽生成が可能になった。
• 1つの潜在コードに複数のコードを組み合わせることで、調性の変化を伴いながらもスタイルの一貫性を保ったまま、一貫性のある複数メジャーのシーケンスが生成された。
• 明示的な教師信号がなくても、モデルはベーシックなコード根音と一致するベーシックなノートを学習的に推定しており、調性の慣習的ルールが暗黙的に学習されていることが示唆された。