[論文レビュー] Solving Audio Inverse Problems with a Diffusion Model

Eloi Moliner, Jaakko Lehtinen+1 more|arXiv (Cornell University)|Oct 27, 2022

Music and Audio Processing被引用数 4

ひとこと要約

本論文では、定常Q変換（CQT）のピッチ不変性構造を活用して、再訓練を必要とせずに帯域拡張、穴埋め、クリッピング除去といった多様な音声逆問題を解く、拡散型生成モデル「CQT-Diff」を提案する。可逆的CQTによる拡散モデルの前処理により、帯域拡張で最先端の性能を達成し、穴埋めやクリッピング除去においても競争力のある結果を示した。これは、拡散モデルを用いた音声修復のための、包括的かつタスクに依存しないフレームワークとしての初の実例である。

ABSTRACT

This paper presents CQT-Diff, a data-driven generative audio model that can, once trained, be used for solving various different audio inverse problems in a problem-agnostic setting. CQT-Diff is a neural diffusion model with an architecture that is carefully constructed to exploit pitch-equivariant symmetries in music. This is achieved by preconditioning the model with an invertible Constant-Q Transform (CQT), whose logarithmically-spaced frequency axis represents pitch equivariance as translation equivariance. The proposed method is evaluated with objective and subjective metrics in three different and varied tasks: audio bandwidth extension, inpainting, and declipping. The results show that CQT-Diff outperforms the compared baselines and ablations in audio bandwidth extension and, without retraining, delivers competitive performance against modern baselines in audio inpainting and declipping. This work represents the first diffusion-based general framework for solving inverse problems in audio processing.

研究の動機と目的

• 1つの事前学習済み生成モデルを用いて、さまざまな音声逆問題を統合的かつタスクに依存しないフレームワークで解くこと。
• 既存手法が特定の劣化タイプに特化しており、タスク固有の学習を必要としているという限界を克服すること。
• 可逆的時間周波数変換で前処理された拡散モデルが、多様な音声修復タスクに一般化できるかを検討すること。
• 特に定常Q変換によるピッチ不変性の誘導的バイアスが、音声修復性能の向上に寄与するかを評価すること。
• タスク固有の微調整なしに、1つの生成モデルが複数の音声修復タスクで競争的または最先端の性能を達成できることを示すこと。

提案手法

• 本手法は、時間領域で学習されたスコアベースの拡散モデルを採用し、ピッチ不変性を活用するために可逆的定常Q変換（CQT）を前処理として用いる。
• CQTの対数スケール周波数軸により、ピッチシフトが平行移動に対応し、調性構造を尊重する畳み込み層の利用が可能になる。
• ノイズスケジュールと確率的逆SDEを用いて、学習済みスコア関数からサンプリングを行い、スコアはニューラルネットワーク $ s_{\theta}(\bm{x}_{\tau}, \sigma_{\tau}) $ で近似する。
• 逆問題のための条件付けは、再構成ガイドランス（RG）項と、必要に応じてノイズ除去分類器（DC）を用いて実現され、部分観測下での柔軟な推論が可能になる。
• モデルはソロピアノ音楽データで学習され、帯域拡張、穴埋め、クリッピング除去の3つのタスクで評価され、客観的および主観的指標が用いられる。
• 低域通過フィルタリング、信号ギャップ、ハードクリッピングといった既知の劣化モデルを条件付けすることで、線形および非線形の逆問題に対応可能である。

実験結果

リサーチクエスチョン

• RQ1 1つの事前学習済み拡散モデルが、再訓練なしに複数の音声逆問題に一般化できるか？
• RQ2 可逆的CQTによる拡散モデルの前処理が、ピッチ不変性の対称性を活用することで、音声修復タスクの性能向上に寄与するか？
• RQ3 帯域拡張、穴埋め、クリッピング除去において、CQTベースの拡散モデルはタスク固有のベースラインと比べてどの程度の性能を示すか？
• RQ4 再構成ガイドランス（RG）は、音声穴埋めにおける時間的整合性の維持にどのような役割を果たすか？
• RQ5 特に信号歪み比（SDR）が低いような重度の劣化状況（例：クリッピング時の1 dB SDR）において、拡散モデルからの生成的事前分布が、判別的手法を上回る性能を示せるか？

主な発見

• CQT-Diffは、帯域拡張において、客観的および主観的評価の両方で、比較対象のすべてのベースラインを上回る最先端の性能を達成した。
• 穴埋めタスクでは、GACELAよりわずかに高いMUSHRAスコアを達成し、特にこのタスクに特化して学習されていないにもかかわらず、競争力のある性能を示した。
• 1 dB SDRのクリッピング除去において、CQT-DiffはFAD（1.84）、PEAQ（-3.53）、PEMO-Q（-3.36）のスコアで最高を記録し、A-SPADEおよびSS-PEWを上回った。
• 10 dB SDRの条件下では、生成モデルの品質に限界があるため、SS-PEWに性能で劣ったが、A-SPADEと同等の性能を維持した。
• 穴埋めタスクにおいて、再構成ガイドランス（RG）の使用は、時間的整合性と妥当性を著しく向上させるため不可欠であり、モデルアーキテクチャそのものだけでは長距離依存性を十分に捉えきれないことが示された。
• 結果から、CQTによる前処理が意味のある誘導的バイアスを提供しており、1つの統一アーキテクチャで多様な逆問題に一般化可能であることが確認された。