[論文レビュー] DisSR: Disentangling Speech Representation for Degradation-Prior Guided Cross-Domain Speech Restoration

Ziqi Liang, Zhijun Jia+4 more|arXiv (Cornell University)|Feb 13, 2026

Speech and Audio Processing被引用数 0

ひとこと要約

DisSR は分離された歪み表現フレームワークと劣化前提ガイダンスおよびクロスドメイン適応を組み合わせ、複数の歪みタイプにわたる拡散ベースの音声復元を汎用的に実現する。

ABSTRACT

Previous speech restoration (SR) primarily focuses on single-task speech restoration (SSR), which cannot address general speech restoration problems. Training specific SSR models for different distortions is time-consuming and lacks generality. In addition, most studies ignore the problem of model generalization across unseen domains. To overcome those limitations, we propose DisSR, a Disentangling Speech Representation based general speech restoration model with two properties: 1) Degradation-prior guidance, which extracts speaker-invariant degradation representation to guide the diffusion-based speech restoration model. 2) Domain adaptation, where we design cross-domain alignment training to enhance the model's adaptability and generalization on cross-domain data, respectively. Experimental results demonstrate that our method can produce high-quality restored speech under various distortion conditions. Audio samples can be found at https://itspsp.github.io/DisSR.

研究の動機と目的

• 特定の歪みに適合した単一タスクSRモデルの一般性の欠如を адресする。
• 未知の劣化タイプへのクロスドメイン一般化を可能にする。
• 拡散ベースの復元を導く劣化前提ガイダンスを活用する。
• ドメイン適応型トレーニングによる話者不変の復元を改善する。

提案手法

• 拡散ベースの復元モデルを導く話者不変の劣化表現を抽出する（劣化前提ガイダンス）。
• ドメイン間の適応性と一般化を高めるためにクロスドメイン整列トレーニングを用いる。
• 歪みと内容を分離する分離音声表現フレームワークを使用する。
• ドメイン間転移能力を促進するクロスドメイン設定で訓練する。

実験結果

リサーチクエスチョン

• RQ1 劣化前提に guided された信号は多様な歪みに対して拡散ベースSRの頑健性を向上させるか。
• RQ2 クロスドメイン整列トレーニングは未見ドメインへの一般化を高めるか。
• RQ3 分離表現は音声内容と劣化を効果的に復元のために分離できるか。
• RQ4 提案手法DisSRはベースラインと比較して様々な歪み条件下でどれくらい性能を発揮するか。

主な発見

• 本手法は様々な歪み条件下で高品質な復元音声を得られる（著者らの報告による）。
• DisSR は劣化前提ガイダンスとクロスドメイン整列トレーニングを通じて一般化を改善する。
• 歪み抽出とドメイン適応性の両方を一つのモデル内で扱える。
• 分離表現のクロスドメインSRタスクにおける有効性を実験的に検証した。