[論文レビュー] Boosting Noise Robustness of Acoustic Model via Deep Adversarial Training

Bin Liu, Shuai Nie+4 more|arXiv (Cornell University)|May 2, 2018

Speech and Audio Processing参考文献 19被引用数 8

ひとこと要約

本論文では、自動音声認識（ASR）におけるノイズ耐性を向上させるために、生成的対抗ネットワーク（GAN）とニューラルネットワークベースの音声認識モデル（AM）を共同で最適化する深層対抗訓練フレームワークを提案する。敵対的訓練の下で、ノイズ混在入力からクリアな音声特徴を生成することで、CHiME-4開発セットでは相対誤差率を23.38%削減、テストセットでは11.54%削減を達成し、分離された音声強調フロントエンドを必要とせず、標準的な交差エントロピー学習やベースラインシステムを上回る性能を発揮した。

ABSTRACT

In realistic environments, speech is usually interfered by various noise and reverberation, which dramatically degrades the performance of automatic speech recognition (ASR) systems. To alleviate this issue, the commonest way is to use a well-designed speech enhancement approach as the front-end of ASR. However, more complex pipelines, more computations and even higher hardware costs (microphone array) are additionally consumed for this kind of methods. In addition, speech enhancement would result in speech distortions and mismatches to training. In this paper, we propose an adversarial training method to directly boost noise robustness of acoustic model. Specifically, a jointly compositional scheme of generative adversarial net (GAN) and neural network-based acoustic model (AM) is used in the training phase. GAN is used to generate clean feature representations from noisy features by the guidance of a discriminator that tries to distinguish between the true clean signals and generated signals. The joint optimization of generator, discriminator and AM concentrates the strengths of both GAN and AM for speech recognition. Systematic experiments on CHiME-4 show that the proposed method significantly improves the noise robustness of AM and achieves the average relative error rate reduction of 23.38% and 11.54% on the development and test set, respectively.

研究の動機と目的

• 背景ノイズや混响によるASR性能の低下を是正すること。
• 計算コストが高く、ハードウェア要件を満たし、損失関数の不一致に起因する音声歪みを引き起こす、従来のフロントエンド音声強調手法の限界を克服すること。
• 分離された強調パイプラインに依存せずに、音声認識モデルのノイズ耐性を直接向上させること。
• ASRにおけるエンドツーエンドのノイズ耐性を実現するための対抗訓練の実現可能性と有効性を検討すること。
• 生成器、識別器、音声認識モデルを共同で最適化することで、より良い汎化性能と性能を達成すること。

提案手法

• ノイズ混在入力からクリアな音声特徴表現を生成するために、条件付き生成的対抗ネットワーク（cGAN）を用いる。
• 生成器は、本物のクリア信号と生成された信号を区別する識別器をだますような現実的なクリア特徴を生成するように訓練される。
• 音声認識モデルは、交差エントロピー損失と対抗損失を組み合わせたハイブリッド損失を通じて、GANと共同で最適化され、ハイパーパrameter α で制御される。
• 訓練目的はミニマックスゲームとして定式化される： min_G max_D V(G,D) = E_x~p_data[log D(x)] + E_z~p_z[log(1 - D(G(z)))]
• クリア信号とノイズ混在信号の1対1対応を必要とせず、明示的な音声強調モジュールの必要性も排除する。
• PyTorchを用いてエンドツーエンドで訓練され、バックプロパゲーションにより生成器および識別器を通じて音声認識モデルが最適化される。

実験結果

リサーチクエスチョン

• RQ1 分離された音声強調フロントエンドを必要とせずに、対抗訓練を用いて音声認識モデルのノイズ耐性を効果的に向上させることができるか？
• RQ2 ノイズ環境下でのASR性能において、GANと音声認識モデルを共同で最適化する手法は、標準的な交差エントロピー学習と比較してどのように差がつくか？
• RQ3 最良のASR性能を達成するための、対抗損失と分類損失（α で制御）の最適なトレードオフは何か？
• RQ4 対抗訓練は、標準的な訓練に比べて収束が速く、フレームレベルの正答率も高いか？
• RQ5 提案手法は、推論時にクリアな参照信号を必要とせず、実世界のノイズ環境にも一般化可能か？

主な発見

• 提案された深層対抗訓練手法は、ベースラインシステムと比較して、CHiME-4開発セットで相対誤差率を23.38%削減した。
• テストセットでは、11.54%の相対誤差率削減を達成し、実世界のノイズ環境への強い一般化能力を示した。
• α = 0.4 のモデルが開発セットで最低のWER（16.32%）を記録し、対抗損失と分類損失の最適なバランスを示した。
• 対抗訓練の設定では、交差エントロピー学習に比べて、訓練中のフレーム正答率がより速く上昇し、より高い水準に達した。
• すべてのテスト条件下で、標準的な交差エントロピー学習モデル（CE-train）およびベースラインKaldiシステムを上回った。
• 結果から、エンドツーエンドの対抗訓練が、ノイズ混在音声の構造的特徴を効果的に捉え、明示的な音声強調処理なしに耐性を向上させられることを示した。