[論文レビュー] Noise Adaptive Speech Enhancement using Domain Adversarial Training

Chien-Feng Liao, Yu Tsao+2 more|arXiv (Cornell University)|Jul 19, 2018

Speech and Audio Processing参考文献 43被引用数 16

ひとこと要約

本論文は、未知のノイズ種別に対して高い耐性を示すために、ドメインアダプティブトレーニング（DAT）を用いたノイズ適応型音声強調システムを提案する。非ラベル付きのターゲットドメインノイズ音声からノイズ不変特徴を学習するため、双方向LSTMエンコーダデコーダとドメイン識別器を併用して訓練することで、非適応ベースライン比でPESQが19.0%向上、SSNRが39.3%向上、STOIが27.0%向上する結果を得た。

ABSTRACT

In this study, we propose a novel noise adaptive speech enhancement (SE) system, which employs a domain adversarial training (DAT) approach to tackle the issue of a noise type mismatch between the training and testing conditions. Such a mismatch is a critical problem in deep-learning-based SE systems. A large mismatch may cause a serious performance degradation to the SE performance. Because we generally use a well-trained SE system to handle various unseen noise types, a noise type mismatch commonly occurs in real-world scenarios. The proposed noise adaptive SE system contains an encoder-decoder-based enhancement model and a domain discriminator model. During adaptation, the DAT approach encourages the encoder to produce noise-invariant features based on the information from the discriminator model and consequentially increases the robustness of the enhancement model to unseen noise types. Herein, we regard stationary noises as the source domain (with the ground truth of clean speech) and non-stationary noises as the target domain (without the ground truth). We evaluated the proposed system on TIMIT sentences. The experiment results show that the proposed noise adaptive SE system successfully provides significant improvements in PESQ (19.0%), SSNR (39.3%), and STOI (27.0%) over the SE system without an adaptation.

研究の動機と目的

• ディープラーニングベースの音声強調における、訓練時とテスト時のノイズ種別の不一致という重要な課題に対処する。
• ターゲットドメインデータにクリアなリファレンス信号が存在しない状況でも、音声強調モデルの一般化性能を向上させること。
• クリアなリファレンスの代わりに、ターゲットドメインからのラベルなしノイズ音声のみを用いて効果的な適応を可能にすること。
• ドメインアダプティブトレーニングがノイズ不変特徴を抽出でき、多様なノイズ環境下でモデルの耐性を向上させることを示すこと。

提案手法

• 定常ノイズをソースドメイン（クリアな音声リファレンスあり）と定義し、非定常ノイズをターゲットドメイン（クリアなリファレンスなし）と定義する。
• エンコーダデコーダアーキテクチャにドメイン識別器を組み込み、ドメインアダプティブトレーニング（DAT）を実行する。ここでエンコーダはノイズ種別の分類能力を最小限に抑えるように最適化される。
• ソースドメインとターゲットドメインの間で特徴が区別不能になるようにエンコーダを最適化し、ノイズ不変性を促進する。
• 音声強調損失（例：L1/L2）とドメインアダプティブ損失を組み合わせたジョイント損失関数を用いて、モデルをエンドツーエンドで訓練する。
• スペクトログラムベースの特徴（257×32）を用いてTIMITデータにモデルを適用し、波形再構成には逆STFTとオーバlap-addを適用する。
• 訓練中にターゲットドメインのラベルなしノイズ音声を活用し、クリアなリファレンスが不要な状態でモデルを適応させる。

実験結果

リサーチクエスチョン

• RQ1 クリアなリファレンス信号が利用できない状況下で、ドメインアダプティブトレーニングが未知のノイズ種別における音声強調性能を効果的に向上させることができるか？
• RQ2 ラベルなしターゲットドメインノイズデータの量が、ノイズ適応モデルの性能向上に与える影響は何か？
• RQ3 提案手法は、適応に用いたノイズ種別とは異なるノイズ種別に対しても一般化可能であり、過学習を回避できるか？
• RQ4 教師あり上界モデルに近づくには、非教師ありドメイン適応アプローチがどの程度の性能を達成できるか？

主な発見

• テスト時にベビーキャリーのノイズを用いた場合、提案モデルは非適応ベースライン比で平均PESQが19.0%向上した。
• SSNRは39.3%向上、STOIは27.0%向上した。これは音声品質と話者理解性の顕著な向上を示している。
• ベビーキャリーのノイズで適応させたにもかかわらず、カフェテリアバブリングノイズでもベースラインを上回った。これは、適応に用いたノイズ種別を超えた一般化性能を示している。
• ラベルなしターゲットドメインデータの量が増えるにつれて性能が単調に向上し、PESQはより多くのノイズ音声が使用されるほど上昇した。
• 完全に教師あり上界モデルに近い性能を達成した。これは、ラベルなしデータがドメインシフトのギャップを顕著に縮小できることを示唆している。
• スペクトログラムの可視化分析から、提案モデルは特に低SNR条件下で、ベースラインよりもノイズをより効果的に抑制していることが確認された。