[論文レビュー] Learning Interpretable Representation for Controllable Polyphonic Music Generation

Ziyu Wang, Dingsu Wang+2 more|arXiv (Cornell University)|Aug 17, 2020

Music and Audio Processing参考文献 41被引用数 20

ひとこと要約

本論文では、ルールベースのコード認識とコード不変畳み込みネットワークを組み合わせることで、解釈可能なコードおよびテクスチャ要因に分離された、VAEベースのモデルを提案する。このモデルにより、潜在空間の操作によって制御可能な音楽生成が可能となり、スタイル転送、テクスチャ変化、伴奏編曲などの応用が可能である。一部のスタイル転送評価では、元のヒューマンコンポジションを上回る性能を発揮した。

ABSTRACT

While deep generative models have become the leading methods for algorithmic composition, it remains a challenging problem to control the generation process because the latent variables of most deep-learning models lack good interpretability. Inspired by the content-style disentanglement idea, we design a novel architecture, under the VAE framework, that effectively learns two interpretable latent factors of polyphonic music: chord and texture. The current model focuses on learning 8-beat long piano composition segments. We show that such chord-texture disentanglement provides a controllable generation pathway leading to a wide spectrum of applications, including compositional style transfer, texture variation, and accompaniment arrangement. Both objective and subjective evaluations show that our method achieves a successful disentanglement and high quality controlled music generation.

研究の動機と目的

• 深層生成音楽モデルにおける解釈不能性の問題に対処する。特に、潜在変数が意味的に制御しがたいこと。
• 複雑でタスク特化型のアーキテクチャに依存せずに、和声やテクスチャといった作曲要因に対する正確な制御を可能にする。
• コード（コンテンツ）とテクスチャ（スタイル）の分離表現が、多様な音楽生成タスクにおける汎用的制御として機能するかを検討する。
• 客観的指標と主観的人間評価の両方を用いて、分離表現の有効性を評価する。

提案手法

• 潜在空間の前半にコード情報を埋め込むために、ルールベースのコード認識器を用いた二重ブランチエンコーダを備えたVAEフレームワークを採用。この構造により、分離が強制される。
• 音楽を2次元画像として扱い、コード不変畳み込みネットワークを適用して、後半の潜在空間にリズム、コントゥール、バーチャル（配置）などのテクスチャ特徴を抽出。
• PianoTree VAEデコーダアーキテクチャを用いて、分離された潜在表現から階層的にポリフォニック音楽を再構築。
• 損失関数ではなく、アーキテクチャ設計による誘導的バイアスを適用することで、追加の訓練目的を必要とせずに、頑健な分離を実現。
• 潜在空間の操作（交換、サンプリング、条件付き予測）により、下流タスク向けの制御を可能にする。
• 階層的かつ再帰的なVAEベースのデコーダを活用し、分離された潜在コードから8拍分の完全なピアノセグメントを再構築。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャ的誘導的バイアスを用いることで、VAEベースの音楽生成モデルの潜在空間において、コードとテクスチャを効果的に分離できるか？
• RQ2 分離された潜在要因が、スタイル転送やテクスチャ変化といった多様なタスクにおいて、どの程度制御可能な音楽生成を可能にするか？
• RQ3 客観的評価と主観的人間評価の両方において、特にスタイル転送のシナリオで生成音楽の質はどのように比較されるか？
• RQ4 特定の制御シナリオにおいて、モデルがヒューマンコンポジションのオリジナルより高い評価を得られるか？

主な発見

• 客観的指標により、モデルはコードとテクスチャ要因を成功裏に分離している。コード表現はピッチのトランスポジションに対して非常に感受的であり、テクスチャ表現はリズムの変化に対して強く反応している。
• 主観的評価において、最も優れたスタイル転送作品は、オリジナル作品よりも顕著に高い評価を得た（p < 0.005）。これは、一部のケースで優れた芸術的表現力と創造性を示していることを示している。
• 平均的には、転送作品はオリジナルより低い評価を受けたが、最高の転送作品は創造性と音楽的完成度の両面でオリジナルを上回った。
• 潜在コードの交換により、コード進行に依存せずにテクスチャを独立して転送できることが実証され、作曲スタイルの転送が有効に可能であることが示された。
• 潜在分布からのサンプリングによるテクスチャ変化は、「テーマと変奏」形式を効果的に模倣し、和声構造を維持しながらリズム的・メロディックなコントゥールを変化させた。
• 条件付き予測による伴奏編曲は有望な結果を示し、モデルが下流のエンコーダ・デコーダ構造を用いてメロディから伴奏を生成可能である可能性を示唆している。