[論文レビュー] Learning Noise-Invariant Representations for Robust Speech Recognition

Davis Liang, Zhiheng Huang+1 more|arXiv (Cornell University)|Jul 17, 2018

Speech Recognition and Synthesis参考文献 28被引用数 4

ひとこと要約

本稿では、訓練中にクリア音声とそのノイズあり版の両方に対して同じ中間層の表現を生成するよう促す正則化手法である不変表現学習（IRL）を提案する。L2およびコサイン類似度を用いて中間層における表現の距離をペナルティ化することで、IRLはクリアおよび他のLibrispeechテストセットで文字誤り率（CER）を45%以上低減し、データ拡張や先行研究のベースラインを著しく上回り、特にドメイン外のノイズ条件下でも優れた性能を示す。

ABSTRACT

Despite rapid advances in speech recognition, current models remain brittle to superficial perturbations to their inputs. Small amounts of noise can destroy the performance of an otherwise state-of-the-art model. To harden models against background noise, practitioners often perform data augmentation, adding artificially-noised examples to the training set, carrying over the original label. In this paper, we hypothesize that a clean example and its superficially perturbed counterparts shouldn't merely map to the same class --- they should map to the same representation. We propose invariant-representation-learning (IRL): At each training iteration, for each training example,we sample a noisy counterpart. We then apply a penalty term to coerce matched representations at each layer (above some chosen layer). Our key results, demonstrated on the Librispeech dataset are the following: (i) IRL significantly reduces character error rates (CER) on both 'clean' (3.3% vs 6.5%) and 'other' (11.0% vs 18.1%) test sets; (ii) on several out-of-domain noise settings (different from those seen during training), IRL's benefits are even more pronounced. Careful ablations confirm that our results are not simply due to shrinking activations at the chosen layers.

研究の動機と目的

• 微小な摂動ですら性能を著しく低下させる、最先端のASRモデルの入力ノイズに対する脆さを是正すること。
• 標準的なデータ拡張では、クラスレベルの不変性しか促さないが、表現レベルの不変性を達成できないという限界を克服すること。
• 同じ入力のクリア版とノイズあり版に対して、同一の隠れ表現を強制する手法を開発し、推論速度を損なわず耐障害性を向上させること。
• 表現レベルの不変性が、出力確率（ログイット）レベルの不変性や標準的な正則化手法よりも優れた一般化性能をもたらすことを実証すること。

提案手法

• 各訓練イテレーションにおいて、クリアな入力ごとに、MUSANからランダムに抽出したノイズスニペットをランダムな音量で元の波形に重畳してノイズあり版を合成する。
• モデルは、クリア版とノイズあり版の両方を同じネットワークを経由させ、各層での隠れ表現を出力する。
• 対応するクリア版とノイズあり版の隠れ表現間のL2距離およびコサイン類似度を最小化する正則化損失を適用する。
• 合計損失には、予測に対する標準的な交差エントロピー損失と、表現不変性ペナルティが組み合わされ、ネットワークがノイズに強い特徴を学習するよう促される。
• 不変性ペナルティは、選択された層（例：エンコーダ層）より上位の層にのみ適用され、初期層が入力の変化に敏感なまま保たれる。
• IRLの効果を隔離するために、言語モデルを用いない、序列変換モデルと交差エントロピー損失を用いたLibrispeech上での評価が行われる。

Figure 1 : Diagram demonstrating the various terms in the IRL loss function as applied to a Seq2Seq attention model. Dotted lines represent shared weights.

実験結果

リサーチクエスチョン

• RQ1 クリア音声とノイズあり音声の入力に対して、同じ隠れ表現を強制することで、自動音声認識における耐障害性が向上するか？
• RQ2 表現レベルの不変性は、ログイットレベルの不変性や標準的なデータ拡張よりも、ドメイン外ノイズの処理において優れているか？
• RQ3 IRLによる性能向上は、活性化の収縮に起因するのか、それとも実際の表現の整合化に起因するのか？
• RQ4 多様なノイズ条件下での一般化性能に関して、IRLは adversarial training や他の正則化手法と比較してどう異なるか？

主な発見

• IRLは、LibrispeechのテストクリアセットでCERを3.3%に低下（ベースライン6.5%）、テストオーザーで11.0%に低下（ベースライン18.1%）させ、それぞれ49%および40%の相対的改善を達成した。
• リバーブノイズなどのドメイン外ノイズ条件下では、IRL-Cが13.8%のCERを達成したのに対し、データ拡張モデルは21.0%、ベースラインは24.1%であった。これは顕著な耐障害性の向上を示している。
• 重複音声ノイズ条件下では、IRL-Cが14.1%のCERを達成した。これは、ベースライン（91.5%）およびデータ拡張モデル（32.0%）を著しく上回る。
• 低SNR（信号対雑音比）条件下では、IRL-Cが5.7%のCERを達成した。これは、ベースライン（10.8%）およびデータ拡張モデル（27.8%）を上回った。
• リサンプリングされた電話回線データにおいても、IRLモデルは6.4%のCERを維持した。これは、ベースライン（14.2%）およびデータ拡張モデル（12.2%）を上回る。
• 実証的分析により、IRLはクリア版とノイズあり版の表現間のL2距離およびコサイン類似度を両方とも低減することが確認された。特に、IRL-Cは全層にわたり一貫した一致を維持しているが、IRL-Eはエンコーダ層以降で乖離を示した。

(a) L2 distance