[論文レビュー] Is Disentanglement enough? On Latent Representations for Controllable Music Generation

Ashis Pati, Alexander Lerch|arXiv (Cornell University)|Aug 1, 2021

Music and Audio Processing被引用数 6

ひとこと要約

この論文は、VAEベースの音楽生成モデルにおける分離表現が真の制御可能性をもたらすかを調査する。教師あり分離手法は高い分離度を達成するが、本研究では制御可能性は単なる分離度に依存するのではなく、生成ディコーダーの構造と潜在空間の連続性に大きく依存することを明らかにした。これは、潜在空間の穴やディコーダー設計の欠陥が、強固な分離度があるにもかかわらず属性操作を著しく制限することを示している。

ABSTRACT

Improving controllability or the ability to manipulate one or more attributes of the generated data has become a topic of interest in the context of deep generative models of music. Recent attempts in this direction have relied on learning disentangled representations from data such that the underlying factors of variation are well separated. In this paper, we focus on the relationship between disentanglement and controllability by conducting a systematic study using different supervised disentanglement learning algorithms based on the Variational Auto-Encoder (VAE) architecture. Our experiments show that a high degree of disentanglement can be achieved by using different forms of supervision to train a strong discriminative encoder. However, in the absence of a strong generative decoder, disentanglement does not necessarily imply controllability. The structure of the latent space with respect to the VAE-decoder plays an important role in boosting the ability of a generative model to manipulate different attributes. To this end, we also propose methods and metrics to help evaluate the quality of a latent space with respect to the afforded degree of controllability.

研究の動機と目的

• 潜在表現における高い分離度が、記号的音楽生成において効果的な制御可能性をもたらすかを調査すること。
• さまざまな教師あり分離手法が生成プロセス中の属性操作に与える影響を評価すること。
• 特に潜在空間の穴を含む、制御可能性を阻害する構造的制限要因を同定すること。
• 潜在空間の連続性と制御可能性の関係を定量化する新しい指標（LDR）を提案・検証すること。
• エンコーダーの分離度と同様に、ディコーダー設計と生成モデリングの質が、制御可能な音楽生成において極めて重要であることを強調すること。

提案手法

• I-VAE、AR-VAE、S2-VAEの3つの教師あり分離手法を用いて、VAEを訓練した。各手法は潜在空間に属性固有の正則化を適用する。
• 統合損失関数を用いた：L = L_VAE + γ·L_reg ここでγは特定の属性（例：スケール、アルペジオ）に対する正則化の強度を制御する。
• 正則化された潜在次元に沿った走査を実行し、生成された音楽を定性的および定量的に分析することで制御可能性を評価した。
• 潜在空間の穴が予測可能な属性操作を妨げる要因となることを定量化するため、潜在不連続率（LDR）という新しい指標を提案した。
• MIG や dci といった指標を用いて分離度を評価し、生成サンプルにおける属性の一貫性と予測可能性を用いて制御可能性を評価する、体系的な実験を実施した。
• スケール、アルペジオ方向、ノート密度といった属性を含む記号的音楽データを用いて、定性的なサンプルと定量的指標の両方でモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 潜在空間における高い分離度が、特定の音楽的属性の制御可能な操作にどの程度まで対応するか。
• RQ2 I-VAE、AR-VAE、S2-VAE のような異なる教師あり分離手法は、予測可能で独立した属性制御をどの程度可能にするか。
• RQ3 生成ディコーダーの構造が、強固な分離度があるにもかかわらず、制御可能性を促進または制限する役割を果たすか。
• RQ4 潜在空間の穴が、生成プロセス中の属性操作の予測可能性と一貫性にどのような影響を及ぼすか。
• RQ5 LDR という新しい指標は、制御可能性を損なう潜在空間の不連続性を効果的に定量化できるか。

主な発見

• 3つの教師あり分離手法すべてが、高い分離度スコア（例：MIG > 0.8）を達成しており、潜在空間内での基本要因の強い分離が確認された。
• 類似した分離度性能を示しても、制御可能性には顕著な差が生じた。AR-VAE と S2-VAE は予測可能で一貫した属性変化を実現したが、I-VAE はアルペジオ方向の変化が一貫せず予測不能であった。
• I-VAE 手法は、ターゲットスケール外の音を生成するなど、スケール属性に対する制御が不十分であることが判明した。
• 潜在空間の穴が、正則化されていても、予測不能な属性変化（例：未観測のアルペジオ方向を持つコードの生成）を引き起こした。
• LDR 指標は、潜在空間の不連続性を効果的に定量化でき、高い LDR と低い制御可能性の間に強い相関が確認された。
• 本研究の結論として、分離度だけでは制御可能性は得られない。生成ディコーダーが潜在ベクトルを意味的で連続的かつ一貫性のある音楽的出力にマッピングする能力が、エンコーダーの分離度と同等に重要である。