[論文レビュー] Symbolic Music Generation with Diffusion Models

Gautam Mittal, Jesse Engel+2 more|arXiv (Cornell University)|Mar 30, 2021

Music and Audio Processing参考文献 48被引用数 9

ひとこと要約

本論文は、事前学習済み変分オートエンコーダー（VAE）から得られる連続的潜在変数を用いて訓練することで、非自己回帰的かつ並列的に長大なメロディックな音楽シーケンスを生成できる拡散モデルを提案する。この手法は、品質と構造的一致性の両面で自己回帰的ベースライン（例：TransformerMDN）を上回る、最先端の無条件および条件付き埋め込み性能を達成する。

ABSTRACT

Score-based generative models and diffusion probabilistic models have been successful at generating high-quality samples in a variety of continuous domains. However, due to their Langevin-inspired sampling mechanisms, their application to discrete symbolic music data has been limited. In this work, we present a technique for training diffusion models on symbolic music data by parameterizing the discrete domain in the continuous latent space of a pre-trained variational autoencoder. Our method is non-autoregressive and learns to generate sequences of latent embeddings through the reverse process and offers parallel generation with a constant number of iterative refinement steps. We show strong unconditional generation and post-hoc conditional infilling results compared to autoregressive language models operating over the same continuous embeddings.

研究の動機と目的

• 拡散モデルが、本質的に離散的であるため、標準的な連続ドメインの拡散サンプリングと互換性のない記号的音楽データに対して、高品質な生成を可能にする。
• 離散空間におけるランジュバンベースのサンプリングの限界を克服するため、事前学習済みVAEを介して記号的音楽を連続的潜在空間にマッピングする。
• VAEの潜在表現上で訓練された拡散モデルが、強い構造的一致性を示す長大で一貫性のある音楽的シーケンスを生成できることを示す。
• 潜在空間における部分的なシーケンスを条件として用いることで、後から条件付き生成（例：埋め込み）を可能にする。
• 拡散モデルが潜在表現上で学習する性能を、強力な自己回帰的ベースライン（例：TransformerMDN）と比較する。

提案手法

• 本手法は、2小節のメロディー用に事前学習済みのMusicVAEを用い、離散的MIDIシーケンスを連続的潜在コードに埋め込むことで、離散的音楽を連続的潜在空間に変換する。
• ノイズ除去拡散確率的モデル（DDPM）を、これらの連続的潜在変数上で訓練し、段階的にノイズを加える前向き拡散プロセスを逆方向に学習する。
• サンプリングは、ランダムなガウスノイズから開始し、逆方向の拡散プロセスを繰り返し適用することで、潜在シーケンスを改善し、最終的にMIDIにデコードする。
• 時間依存のノイズスケジュールと、各拡散ステップで追加されたノイズを予測する損失関数を用い、予測ノイズと真のノイズの間のL2損失を最小化する。
• 条件付き埋め込みのため、逆方向サンプリング中に最初と最後の部分的シーケンスの潜在変数を固定することで、欠落している部分を一貫性を持って補完する。
• このフレームワークにより、固定回数の改善ステップで非自己回帰的生成が可能となり、自己回帰的モデルに比べて並列サンプリングと高速な推論が実現される。

実験結果

リサーチクエスチョン

• RQ1 連続的拡散サンプリングとは互換性が薄い伝統的な離散的記号的音楽データに対して、拡散モデルを効果的に適用できるか？
• RQ2 VAEが学習した連続的潜在変数上で訓練された拡散モデルは、自己回帰的モデルに比べ、より高品質で構造的一致性の高い音楽生成を達成できるか？
• RQ3 本手法は、文脈に基づいて欠落している部分を補完するような、後から条件付き生成（例：埋め込み）をサポートできるか？
• RQ4 潜在空間における反復的改善プロセスが、時間経過とともにサンプル品質と構造的一致性にどのように影響を与えるか？
• RQ5 特に露出バイアスの低減という観点から、連続的潜在変数の階層的モデリングにおいて、拡散モデルは自己回帰的ベースライン（例：TransformerMDN）を上回る性能を示すか？

主な発見

• 拡散モデルは、1024トークン（64小節）の高品質な無条件メロディックシーケンスを、強い構造的一致性と音楽的流暢さを備えて生成する。
• 自己回帰的ベースラインであるTransformerMDNに比べ、一貫性と分散類似度の両方の指標で優れた性能を示し、潜在表現の階層的モデリングの優位性を実証する。
• 32小節のギャップに対する後から条件付き埋め込みは、実際の音楽と同等の高い一貫性と分散類似度を達成し、潜在空間内挿補間や独立した事前分布からのサンプリングを上回る。
• 潜在空間の指標は改善過程で着実に向上するが、フレーム単位の自己類似度指標は初期段階で安定し、分散類似度は後期段階でのみ顕著に現れるため、品質向上が段階的に進行していることが示唆される。
• 本手法は、固定回数の改善ステップで並列生成が可能であり、サンプル品質を損なわずに自己回帰的モデルに比べて高速な推論を実現する。