[論文レビュー] All Information is Necessary: Integrating Speech Positive and Negative Information by Contrastive Learning for Speech Enhancement

Xinmeng Xu, Weiping Tu+2 more|arXiv (Cornell University)|Apr 26, 2023

Speech and Audio Processing被引用数 4

ひとこと要約

本論文は、対照的学習を用いて、音声に有益な（関連する）特徴と音声に有害な（関連のない）特徴を統合するモノラル音声強調モデル、CMCR-Netを提案する。対照的で相互作用的なアテンションを備えた協調モジュールと、対照的正則化損失を導入することで、音声品質と聞き取りやすさが向上し、計算コストを低く抑えながら最先端の性能を達成した。

ABSTRACT

Monaural speech enhancement (SE) is an ill-posed problem due to the irreversible degradation process. Recent methods to achieve SE tasks rely solely on positive information, e.g., ground-truth speech and speech-relevant features. Different from the above, we observe that the negative information, such as original speech mixture and speech-irrelevant features, are valuable to guide the SE model training procedure. In this study, we propose a SE model that integrates both speech positive and negative information for improving SE performance by adopting contrastive learning, in which two innovations have consisted. (1) We design a collaboration module (CM), which contains two parts, contrastive attention for separating relevant and irrelevant features via contrastive learning and interactive attention for establishing the correlation between both speech features in a learnable and self-adaptive manner. (2) We propose a contrastive regularization (CR) built upon contrastive learning to ensure that the estimated speech is pulled closer to the clean speech and pushed far away from the noisy speech in the representation space by integrating self-supervised models. We term the proposed SE network with CM and CR as CMCR-Net. Experimental results demonstrate that our CMCR-Net achieves comparable and superior performance to recent approaches.

研究の動機と目的

• 従来の音声強調モデルが清音声などの肯定的情報に依存する一方で、音声に関連のない特徴を無視するという限界を解消すること。
• 音声と雑音を別々にモデル化する二本のブランチを持つモデルが抱える高コストなパラメータ数と訓練の難易度を克服すること。
• 音声に関連する特徴と関連のない特徴の間の相関関係を明示的にモデル化することで、判別的表現学習を向上させること。
• 推論の複雑さを増さずに一般化性能を向上させるモデルに依存しない正則化技術を開発すること。

提案手法

• 自己アテンションと対照的学習を用いて表現空間上で音声に関連する特徴と関連のない特徴を分離する協調モジュール（CM）を設計する。
• CM内にインタラクティブアテンションを導入し、関連する特徴と関連のない特徴の間の相関関係を自己適応的に動的に学習・統合する。
• 埋め込み空間内で強化された音声表現を清音声に近づけ、ノイズ音声から遠ざける対照的学習に基づく対照的正則化（CR）を提案する。
• CMとCRをエンコーダ・デコーダアーキテクチャに統合し、最小限の追加パラメータでエンド・ツー・エンド学習が可能なCMCR-Netを構築する。
• 表現品質の向上と最先端手法との公平な比較を確保するため、UniSpeech-SATを事前学習済み特徴エンコーダとして使用する。
• 再構成損失と対照的正則化の組み合わせでモデルを学習し、推論時にはCRを除去することで計算オーバーヘッドを回避する。

Figure 1: The architecture of the proposed CMCR-Net. It adopts encoder-decoder architecture as the main body. In addition, the loss function of the proposed CMCR-Net consists of MSE loss and contrastive regularization.

実験結果

リサーチクエスチョン

• RQ1 肯定的（正の）情報に依存するモデルと比較して、音声に無関係な（否定的）特徴を統合することで、モノラル音声強調の性能が向上するか？
• RQ2 ノイズを別々にモデル化しない単一ブランチアーキテクチャが、音声に関連する特徴と関連のない特徴の相関関係を効果的にモデル化できるか？
• RQ3 埋め込み空間内で清音声を近づけ、ノイズ音声を遠ざけることで、対照的学習を用いて判別的表現学習を効果的に向上させられるか？
• RQ4 提案された対照的正則化（CR）は、推論コストを増さずに多様なノイズタイプとSNR条件においてモデルの一般化性能を向上させるか？
• RQ5 CMCR-Netフレームワークは、Voice Bank + DEMAND や AVSpeech + AudioSet といった多様なデータセットに効果的に適用され、既存の最先端手法を上回る性能を発揮できるか？

主な発見

• AVSpeech + AudioSet データセットにおいて、CMCR-NetはPESQが3.26、STOIが90.53%を達成し、DCCRN、PHASEN、TFT-Net、SA-TCN、U-Formerを含むすべての比較対象最先端手法を上回った。
• Voice Bank + DEMAND データセットでは、CMCR-Netが最高のPESQ（3.10）とSTOI（93.04%）を記録し、最小のモデルサイズ（2.45Mパラメータ）と最短の推論時間（1秒あたり0.42秒）を達成した。
• 対照的正則化（CR）をDCCRNに適用した場合、STOIが最大1.60ポイント、PESQが0.06ポイント向上し、モデルに依存しない有効性が示された。
• アブレーションスタディの結果、CRを削除するとSTOIが1.78ポイント、PESQが0.08ポイント低下し、CRが性能向上に顕著な貢献をしていることが確認された。
• 可視化結果から、CMCR-Netはベースラインモデルと比較してノイズ残渣が少ないクリアなスペクトログラムを生成しており、優れたノイズ抑制性能を示している。
• 複数のノイズタイプ（会話雑音、工場音、カフェテリア音）にわたる一般化性能が高く、3つのノイズタイプを組み合わせた状況でも、ノイズの複雑さが増してもSTOIとPESQの低下はわずかに抑えられ、高い性能を維持した。

Figure 2: The visualization of attention maps obtained by softmax and inner product in self-attention and contrastive attention, respectively. We can see that self-attention pays attention to speech-irrelevant features and ignore several speech-relevant features, while our contrastive attention can