[論文レビュー] Training Augmentation with Adversarial Examples for Robust Speech Recognition

Sining Sun, Ching-Feng Yeh+3 more|arXiv (Cornell University)|Jun 7, 2018

Speech Recognition and Synthesis被引用数 14

ひとこと要約

この論文では、音声認識における深層ニューラルネットワーク音響モデルの耐性を向上させるために、Fast Gradient Sign Method (FGSM) を用いた敵対的データ拡張を提案する。訓練中にモデルパラメータに基づいて動的に敵対的サンプルを生成することで、Aurora-4 で相対語誤り率（WER）が 23% 減少し、CHiME-4 で 5–6% の向上を達成した。さらに、教師-生徒学習と組み合わせることでさらなる向上が得られた。

ABSTRACT

This paper explores the use of adversarial examples in training speech recognition systems to increase robustness of deep neural network acoustic models. During training, the fast gradient sign method is used to generate adversarial examples augmenting the original training data. Different from conventional data augmentation based on data transformations, the examples are dynamically generated based on current acoustic model parameters. We assess the impact of adversarial data augmentation in experiments on the Aurora-4 and CHiME-4 single-channel tasks, showing improved robustness against noise and channel variation. Further improvement is obtained when combining adversarial examples with teacher/student training, leading to a 23% relative word error rate reduction on Aurora-4.

研究の動機と目的

• ノイズ混在およびチャネル歪みのある環境における深層ニューラルネットワーク音響モデルの耐性を向上させること。
• 動的に生成された敵対的サンプルが、訓練データの多様性とモデルの一般化性能を向上させることを調査すること。
• 教師-生徒学習と組み合わせた敵対的データ拡張の有効性を評価し、ASR 性能の向上を検証すること。
• データ拡張戦略としての敵対的データ拡張とランダム摂動の比較を行うこと。

提案手法

• 敵対的サンプルは、入力に対する損失関数の勾配に基づいて計算される Fast Gradient Sign Method (FGSM) を用いて訓練中に生成される。
• 各ミニバッチに対して、入力勾配の符号の方向に小さな標的付き摂動を加え、ハイパーパramータ ε でスケーリングすることで敵対的サンプルを作成する。
• モデルは元のサンプルと敵対的サンプルの両方で訓練され、結果として訓練データの多様性が向上し、入力摂動に対する耐性が向上する。
• 本手法は教師-生徒（T/S）学習と組み合わせられ、生徒モデルはクリーンデータで訓練された教師モデルのソフトターゲットと自身の予測を重み付けした損失関数で訓練される。
• 損失関数には、生徒モデルの出力に対する交差エントロピー項と、教師モデルの出力に基づく distillation 項が含まれており、バランスを制御するハイパーパramータ α が存在する。
• 本手法は Aurora-4 および CHiME-4 データセット上で評価され、実際のノイズ混在テストセットおよびシミュレートされたノイズ混在テストセットにおける標準的な WER メトリクスが用いられた。

実験結果

リサーチクエスチョン

• RQ1 訓練中に FGSM を用いて生成された敵対的サンプルは、ノイズやチャネル変動に対する音響モデルの耐性を向上させることができるか？
• RQ2 敵対的データ拡張とランダム摂動に基づくデータ拡張を比較した場合、WER 減少の観点でどちらが優れているか？
• RQ3 敵対的データ拡張と教師-生徒学習を組み合わせることで、モデルの耐性に加算的向上が得られるか？
• RQ4 音声認識タスクにおける敵対的データ拡張の最適な摂動マグニチュード ε は何か？

主な発見

• Aurora-4 データセットでは、敵対的データ拡張のみで相対 WER が 14.1% 減少した。特にノイズとチャネル歪みが同時に存在する状況で最高の 18.6% の向上を記録した。
• CHiME-4 のシングルトラックタスクでは、実際のテストセット（et05_real）で 5.7%、シミュレートされたテストセット（et05_simu）で 5.3% の相対 WER 減少を達成した。
• Aurora-4 で敵対的データ拡張と教師-生徒学習を組み合わせた場合、相対 WER は 23% 減少し、最終的な WER は 8.50% にまで低下した。
• ランダム摂動に基づく拡張は、教師-生徒学習のみの場合（WER 9.70%）と比較してわずかな改善（WER 9.48%）にとどまり、敵対的サンプルの優位性が顕著に示された。
• 異なるノイズタイプや環境において一貫した向上が得られ、Aurora-4 では ε=0.3、CHiME-4 では ε<0.25 のとき最適な性能が得られた。