[論文レビュー] Unsupervised Domain Adaptation by Adversarial Learning for Robust Speech Recognition

Pavel Denisov, Ngoc Thang Vu+1 more|ArXiv.org|Jul 30, 2018

Speech Recognition and Synthesis参考文献 29被引用数 9

ひとこと要約

本稿では、遠方音声、ノイズ、混响のひどい録音環境に対する耐性を高めるために、敵対的学習を用いた教師なしドメイン適応手法を提案する。DNNをドメイン識別器と勾配反転層を併用して同時に訓練することで、音声トランスクリプトのないターゲットデータからドメイン不変特徴を学習する。イタリア語SPEECONデータでは19.8%の相対的WER低減、フランス語の適応データでは12.6%の相対的WER低減を達成し、言語が異なる状況でも有効であることが示された。

ABSTRACT

In this paper, we investigate the use of adversarial learning for unsupervised adaptation to unseen recording conditions, more specifically, single microphone far-field speech. We adapt neural networks based acoustic models trained with close-talk clean speech to the new recording conditions using untranscribed adaptation data. Our experimental results on Italian SPEECON data set show that our proposed method achieves 19.8% relative word error rate (WER) reduction compared to the unadapted models. Furthermore, this adaptation method is beneficial even when performed on data from another language (i.e. French) giving 12.6% relative WER reduction.

研究の動機と目的

• 未観測の録音環境、特に単一マイクによる遠方音声認識の性能向上を目的とする。
• クリアで近接マイクで録音された音声で訓練された音響モデルに対して、敵対的学習を用いた教師なしドメイン適応を検討する。
• 本手法の有効性を、同じ言語設定と異言語設定の両方で評価する。特に低リソース言語において有効であるかを検証する。
• 異なる言語からの音声トランスクリプトのないデータを用いた適応でも、依然として著しいWER低減が達成可能かどうかを検討する。
• 適応データ量の変化がモデル性能に与える影響を評価する。

提案手法

• 本手法は、共有された低層（特徴抽出部）と、セノン分類とドメイン分類のためのタスク固有のヘッドを持つ深層ニューラルネットワーク（DNN）を用いる。
• 適応段階では、ラベル付きのクリアな音声（ソースドメイン）とラベルなしの遠方音声（ターゲットドメイン）の混合データを用いてモデルをファインチューニングする。
• ドメイン識別器は、入力特徴がソースドメインかターゲットドメインかを分類するように訓練され、勾配反転層（GRL）を介して勾配を反転させることで、ドメイン不変性を促進する。
• 損失関数は、セノン分類の交差エントロピーとドメイン識別に対する敵対的損失を組み合わせ、バックプロパゲーションにより同時に最適化する。
• 勾配反転係数 $\lambda$ は、タスクの正確性とドメイン不変性のトレードオフを制御し、最適値は経験的に特定された。
• 特徴層インデックス $f$ は、勾配反転が適用される層を決定し、学習されるドメイン不変性のレベルに影響を与える。

実験結果

リサーチクエスチョン

• RQ1 敵対的ドメイン適応は、トランスクリプトのないデータを用いても、遠方音声認識のASR性能を向上させることができるか？
• RQ2 異なる言語からの適応データが使用される（異言語設定）場合、本手法はどの程度有効か？
• RQ3 音声トランスクリプトのない適応データ量を変化させた場合、WER低減にどのような影響を与えるか？
• RQ4 ハイパーパrameter $\lambda$（勾配反転係数）と $f$（特徴層インデックス）が適応性能に与える影響は何か？
• RQ5 本手法は、適応データに含まれる録音環境とは異なる多様な録音環境に対しても一般化可能か？

主な発見

• 本手法は、クリアな近接マイク音声から遠方音声への適応において、イタリア語SPEECONデータで19.8%の相対的語誤り率（WER）低減を達成した。
• フランス語の適応データ（異なる言語）を用いても、12.6%の相対的WER低減を達成し、異言語設定でも有効であることが示された。
• 最良の性能は $\lambda = 2.0$ および $f = 2$ の条件下で達成され、125時間のChannel 4データでWERが68.3%となった。
• 適応データ量を125時間から30時間に減らしても、WERはわずか1.5%増加にとどまり、30時間を超えると利得の減少が顕著になった。
• 非同一言語の適応データでも効果が得られたことから、本手法は多様な録音環境に対して頑健であることが示された。
• 結果から、モデルは特定の録音環境に過剰適合するのではなく、一般化されたドメイン不変特徴を学習していると考えられる。