[論文レビュー] Symbolic Music Generation with Non-Differentiable Rule Guided Diffusion

Yujia Huang, Adishree Ghatare+7 more|arXiv (Cornell University)|Feb 22, 2024

Music and Audio Processing被引用数 4

ひとこと要約

本稿では、非微分可能なルールガイド付き記号的音楽生成に向けた、差し替え可能（plug-and-play）な手法である確率的制御ガイダンス（SCG）を提案する。SCGは、各ステップで複数の軌道実現をサンプリングし、ルールに準拠するものを選択することで、訓練不要で高分解能（10ms）の音楽生成を実現し、優れた制御性と品質を達成する。従来の最先端のベースラインと比較して、ルール準拠性と音楽的品質の両面で優れている。

ABSTRACT

We study the problem of symbolic music generation (e.g., generating piano rolls), with a technical focus on non-differentiable rule guidance. Musical rules are often expressed in symbolic form on note characteristics, such as note density or chord progression, many of which are non-differentiable which pose a challenge when using them for guided diffusion. We propose Stochastic Control Guidance (SCG), a novel guidance method that only requires forward evaluation of rule functions that can work with pre-trained diffusion models in a plug-and-play way, thus achieving training-free guidance for non-differentiable rules for the first time. Additionally, we introduce a latent diffusion architecture for symbolic music generation with high time resolution, which can be composed with SCG in a plug-and-play fashion. Compared to standard strong baselines in symbolic music generation, this framework demonstrates marked advancements in music quality and rule-based controllability, outperforming current state-of-the-art generators in a variety of settings. For detailed demonstrations, code and model checkpoints, please visit our project website: https://scg-rule-guided-music.github.io/.

研究の動機と目的

• 非微分可能な音楽的ルール（例：コード進行、ノート密度など）を用いた事前学習済み拡散モデルのガイドラインを提示すること。
• バックプロパゲーションやモデルの微調整を必要としない、訓練不要で差し替え可能なルールガイダンスを可能にすること。
• 発現的なピアノロール生成に適した高分解能（10ms）の潜在拡散アーキテクチャを構築すること。このアーキテクチャは、ベロシティとサスティンペダル情報を含む。
• 既存の強力なベースラインと比較して、優れた音楽的品質とルールベースの制御性を達成すること。
• 記号的音楽生成のための柔軟で解釈可能で、作曲家にとって使いやすいツールを提供すること。

提案手法

• 確率的制御ガイダンス（SCG）を提案する。これは、確率的力学系における最適制御を扱う経路積分制御理論にインspiredされた、新しいアルゴリズムである。
• 各サンプリングステップで、次のステップの複数の実現を生成し、ルール関数を最もよく満たすクリーンなサンプルを選び出す。
• SCGはルール関数の前方評価のみを必要とするため、非微分可能、ブラックボックス、または記号的ルールAPIと互換性がある。
• 変換器バックボーンを備えた潜在拡散モデルを用いて、ベロシティとペダル情報も含む高分解能（10ms）の記号的音楽を生成する。
• フレームワークは完全に差し替え可能である：SCGは再訓練なしに、任意の事前学習済み拡散モデルに適用可能である。
• 時間分解能の高い高精度な音楽生成を可能にする、効率的な潜在空間表現を採用する。

実験結果

リサーチクエスチョン

• RQ1 非微分可能な音楽的ルール（例：コード進行、ノート密度など）を、拡散モデルにおけるガイドラインとして効果的に使用できるか？
• RQ2 訓練不要で差し替え可能な手法が、既存の微調整済みまたは条件付きベースラインと比較して、より優れたルール準拠性と音楽的品質を達成できるか？
• RQ3 潜在拡散モデルを用いても、発現的なダイナミクスとペダル制御を維持したまま、高分解能（10ms）の記号的音楽生成が可能か？
• RQ4 ルールが非微分可能である場合、勾配ベースのガイダンスと比較して、SCGは制御性とサンプル品質の面でどのように優れているか？
• RQ5 SCGは、作曲家による音楽生成において、どの程度解釈可能で柔軟な制御を可能にするか？

主な発見

• SCGは、記号的音楽生成分野で最先端の性能を達成しており、音楽的品質とルールベースの制御性の両面で強力なベースラインを上回っている。
• 本手法は、非微分可能なルールに対する効果的で訓練不要のガイダンスを実現しており、勾配ベースのアプローチでは実現できなかった能力を有している。
• 10ms分解能の潜在拡散モデルは、ベロシティとサスティンペダル情報を含む、発現的なピアノロールを効果的に生成した。
• 人間による評価では、整合性、和声、テクスチャー、全体的な魅力の点で高い評価が得られ、大多数の評価者が「良い」または「非常に良い」と評価した。
• コード進行の整合性において顕著な改善が見られ、多数のサンプルが「ほとんど一致」または「完全に一致」と評価された。
• 本手法は柔軟で解釈可能かつ制御可能な音楽生成を可能にし、作曲家にとっての作曲ツールとして適している。