[論文レビュー] Unsupervised Noise Adaptive Speech Enhancement by Discriminator-Constrained Optimal Transport

Hsin-Yi Lin, H. Eric Tseng+2 more|arXiv (Cornell University)|Nov 11, 2021

Speech and Audio Processing参考文献 8被引用数 9

ひとこと要約

本論文は、教師なしドメイン適応のための新規な識別子制約付き最適輸送ネットワーク（DOTN）を提案する。この手法は最適輸送理論と生成的敵対的ネットワーク（GAN）を融合させ、ラベルなしのターゲットデータを必要とせずに、ノイズの多い音声の分布をドメイン間で整合化する。VoiceBank-DEMANDおよびTIMITデータセットにおいて、PESQおよびSTOIスコアの両面で既存の敵対的ドメイン適応手法を上回る最先端の性能を達成し、ターゲットドメインの複雑さが増す状況でも頑健であることが示された。

ABSTRACT

This paper presents a novel discriminator-constrained optimal transport network (DOTN) that performs unsupervised domain adaptation for speech enhancement (SE), which is an essential regression task in speech processing. The DOTN aims to estimate clean references of noisy speech in a target domain, by exploiting the knowledge available from the source domain. The domain shift between training and testing data has been reported to be an obstacle to learning problems in diverse fields. Although rich literature exists on unsupervised domain adaptation for classification, the methods proposed, especially in regressions, remain scarce and often depend on additional information regarding the input data. The proposed DOTN approach tactically fuses the optimal transport (OT) theory from mathematical analysis with generative adversarial frameworks, to help evaluate continuous labels in the target domain. The experimental results on two SE tasks demonstrate that by extending the classical OT formulation, our proposed DOTN outperforms previous adversarial domain adaptation frameworks in a purely unsupervised manner.

研究の動機と目的

• 訓練時とテスト時のノイズ条件が異なるドメインシフトの問題に対処すること。これは、実世界の応用において一般的な課題である。
• ラベルなしのターゲットデータやドメインタイプのアノテーションを必要としない、音声処理分野の回帰タスク、特に音声強調のための完全に教師なしのドメイン適応手法を開発すること。
• ドメイン不変特徴学習に依存するか、ノイズタイプ分類などの補助情報が必要な既存のドメイン適応手法の限界を克服すること。
• 複数のノイズタイプがテストセットに含まれるなど、ターゲットドメインの複雑さが増した状況での手法の頑健性を評価すること。
• 最適輸送と敵対的学習を組み合わせることで、回帰設定においても、ソースドメインからターゲットドメインへ知識を効果的に転送できることを示すこと。

提案手法

• 本手法は、音声強調における教師なしドメイン適応のため、最適輸送（OT）理論と生成的敵対的ネットワーク（GAN）を統合した識別子制約付き最適輸送ネットワーク（DOTN）を導入する。
• DOTNは、最適輸送を用いて、ソースドメインのクリア音声分布とターゲットドメインのノイズ音声の間で最小コストの輸送計画を計算し、ドメインシフトを最小化する。
• 識別子は、ソースドメインの実際のクリア音声と、ターゲットドメインから生成されたクリアに似た音声を区別するように訓練され、出力の高品質な聴取的品質を保証する。
• 生成器ネットワークは、OTコストを最小化すると同時に識別子のフィードバックによる正則化を受けることで、ノイズの強いターゲット音声から強調されたクリア音声へのマッピングを学習する。
• 学習プロセスでは、OTに基づくドメイン整合化と敵対的損失を同時に最適化し、未学習のノイズタイプに対してもモデルの一般化能力を向上させる。
• このフレームワークは、ソースドメインのノイズあり・クリア音声ペアとターゲットドメインのノイズあり音声のみを必要とし、ターゲットラベルやノイズタイプのアノテーションは不要である。

実験結果

リサーチクエスチョン

• RQ1 回帰タスク（例：音声強調）における教師なしドメイン適応のために、最適輸送と敵対的学習を効果的に組み合わせられるか？
• RQ2 PESQおよびSTOIスコアの観点から、提案されたDOTN手法は、既存の敵対的ドメイン適応フレームワークと比較してどの程度優れているか？
• RQ3 ターゲットドメインに複数のノイズタイプが含まれる場合、性能はどの程度低下するか。また、深刻な忘却を示すか？
• RQ4 追加情報やラベルを一切必要とせず、未学習のノイズタイプに対しても一般化可能か？
• RQ5 ターゲットドメインの複雑さ（例：ノイズタイプの数）が、ドメイン適応システムの性能にどのように影響するか？

主な発見

• VoiceBank-DEMANDデータセットでは、DOTNはPESQスコア2.083、STOIスコア0.757を達成し、DAT（1.400 PESQ、0.569 STOI）およびMDAN（1.903 PESQ、0.722 STOI）を上回った。
• TIMITデータセットでは、DOTNは平均PESQ1.780、STOI0.690を達成し、DAT（1.400 PESQ、0.569 STOI）およびMDAN（1.766 PESQ、0.670 STOI）を上回った。
• 複数のノイズタイプ（例：H+Ca+Cr+B）を用いたテストでは、PESQおよびSTOIスコアが単一ノイズタイプモデルと同等の水準を維持した。これは、深刻な忘却が最小限に抑えられていることを示している。
• 4つのノイズタイプを逐次学習した場合にのみ、STOIスコアにやや低下が見られたが、これはターゲットドメインの複雑さが増しても頑健であることを示唆している。
• SNRのあらゆるレベルおよびノイズタイプにおいて一貫した優位性を示し、多様なノイズ環境下での実世界応用における有効性を確認した。
• アブレーションスタディにより、OTと識別子ベースのフィードバックの統合が、ベースラインのGANまたはOT単体のアプローチよりも顕著に適応性能を向上させることを確認した。