[論文レビュー] Fast Diffusion GAN Model for Symbolic Music Generation Controlled by Emotions

Jincheng Zhang, György Fazekas+1 more|arXiv (Cornell University)|Oct 21, 2023

Music Technology and Sound Studies被引用数 4

ひとこと要約

本論文は、4ステップのノイズ除去のみで実行可能な高速拡散GANモデルを提案し、従来の最先端技術が数千ステップを要するのに対し、著しく推論時間を短縮する。VAEで学習された埋め込みを活用し、GANベースのノイズ除去器を組み合わせることで、69.1%の四象限感情制御精度を達成する高精細で感情に応じた音楽生成が可能となり、先行研究を上回る性能を示した。

ABSTRACT

Diffusion models have shown promising results for a wide range of generative tasks with continuous data, such as image and audio synthesis. However, little progress has been made on using diffusion models to generate discrete symbolic music because this new class of generative models are not well suited for discrete data while its iterative sampling process is computationally expensive. In this work, we propose a diffusion model combined with a Generative Adversarial Network, aiming to (i) alleviate one of the remaining challenges in algorithmic music generation which is the control of generation towards a target emotion, and (ii) mitigate the slow sampling drawback of diffusion models applied to symbolic music generation. We first used a trained Variational Autoencoder to obtain embeddings of a symbolic music dataset with emotion labels and then used those to train a diffusion model. Our results demonstrate the successful control of our diffusion model to generate symbolic music with a desired emotion. Our model achieves several orders of magnitude improvement in computational cost, requiring merely four time steps to denoise while the steps required by current state-of-the-art diffusion models for symbolic music generation is in the order of thousands.

研究の動機と目的

• 特定の感情状態に一致する音楽を生成可能なモデルを制御する課題に取り組むこと、特に記号的音楽における応用を想定する。
• 通常数千ステップを要する離散的記号的音楽生成における標準的拡散モデルの計算非効率性を克服すること。
• 拡散モデルとGANを組み合わせることで、高速なサンプリングとより良い分布カバレッジを実現し、高品質で制御可能な音楽生成を可能にすること。
• 拡散モデルを感情に応じた記号的音楽生成に応用する可能性を検討すること—本分野における新規な応用である。

提案手法

• モデルは事前学習済みの変分オートエンコーダー（VAE）を用いて記号的音楽を連続的潜在埋め込みに変換し、その埋め込みを拡散モデルの学習に使用する。
• サンプリングプロセスを高速化するために、生成対抗ネットワーク（GAN）をノイズ除去ネットワークとして統合し、わずか4ステップの時間ステップで生成を実現する。
• 感情条件付けは、EMOPIAデータセットからの感情ラベルを用い、マルチモodalな感情モデルを介して拡散プロセス中にノイズ除去ネットワークに条件づけることで実現する。
• モデルは、EMOPIAデータセットの埋め込みから学習され、1,087件のポップ・ピアノ音源が、4つの象限に分類された価値（valence）と覚醒度（arousal）レベルでアノテーションされている。
• 潜在空間の類似度は、Fréchet距離（FD）と最大平均差（MMD）を用いて評価され、4ステップ以内で元のデータ分布に収束していることが示された。
• 感情制御性能は、自己注意を備えた双方向LSTMを微調整して、生成音楽の感情的コンテンツを分類する。

実験結果

リサーチクエスチョン

• RQ1 離散的記号的音楽生成に適応可能な拡散モデルは、高いサンプル品質と高速な推論を維持しつつ効果的に実現可能か？
• RQ2 GANベースのノイズ除去器により、記号的音楽のための拡散モデルで必要なノイズ除去ステップ数を4ステップにまで削減可能か、品質を損なわず？
• RQ3 拡散モデルは感情的属性（価値と覚醒度）に適切に条件づけられ、指定された感情的ターゲットに一致する音楽を生成可能か？
• RQ4 提案手法は、記号的音楽生成分野における既存の最先端モデルと比較して、感情制御の正確性とサンプリング効率の両面で優れているか？

主な発見

• 提案手法は四象限感情タスクにおいて69.1%の感情制御精度を達成し、先行の最先端手法（41.8%）を顕著に上回った。
• 覚醒度のみの制御では90.6%の精度に達し、覚醒度レベルの制御能力が非常に高いことを示した。
• モデルはわずか4ステップのノイズ除去で高品質な音楽を生成でき、標準的な拡散モデルが約1,000ステップを要するのと比較して、計算コストを数個のオーダー単位で削減した。
• Fréchet距離とMMDの指標から、4ステップ以内で生成された埋め込みが元のデータ分布に非常に近いことが示され、高品質なサンプル生成が確認された。
• t-SNE可視化により、生成されたサンプルが同じ感情クラスの元データと密にクラスタリングされていることが確認され、特に覚醒度の分類において効果的な制御が実現していることが裏付けられた。
• モデルの分析から、価値（valence）のモデリングは覚醒度（arousal）よりも困難であることが判明し、21.4%のHAHV条件付きサンプルがHALVに誤分類されたことから、価値モデリングに内在的な複雑性があると示唆された。