[論文レビュー] Attentional Speech Recognition Models Misbehave on Out-of-domain Utterances

Phillip Keung, Wei Niu+3 more|arXiv (Cornell University)|Feb 12, 2020

Speech Recognition and Synthesis参考文献 24被引用数 5

ひとこと要約

この論文は、自己回帰的シーケンス・ツー・シーケンス（AR-S2S）音声認識モデル（Transformer や自己注意 CTC モデルを含む）が、ドメイン外音声をデコードする際、著しく長く繰り返し（『エコグラフィック』と呼ばれる）な出力を生成することを特定した。一方で、ドメイン内データでは優れた性能を示す。著者らは、双方向LSTMを用いた別個の長さ予測モデルを提案し、予想されるワードピース数を推定することで、主なASRモデルを変更せずに退化した出力を切り詰める手法を実現した。LibriSpeechでのWERは上昇せず、問題の緩和に成功した。

ABSTRACT

We discuss the problem of echographic transcription in autoregressive sequence-to-sequence attentional architectures for automatic speech recognition, where a model produces very long sequences of repetitive outputs when presented with out-of-domain utterances. We decode audio from the British National Corpus with an attentional encoder-decoder model trained solely on the LibriSpeech corpus. We observe that there are many 5-second recordings that produce more than 500 characters of decoding output (i.e. more than 100 characters per second). A frame-synchronous hybrid (DNN-HMM) model trained on the same data does not produce these unusually long transcripts. These decoding issues are reproducible in a speech transformer model from ESPnet, and to a lesser extent in a self-attention CTC model, suggesting that these issues are intrinsic to the use of the attention mechanism. We create a separate length prediction model to predict the correct number of wordpieces in the output, which allows us to identify and truncate problematic decoding results without increasing word error rates on the LibriSpeech task.

研究の動機と目的

• AR-S2SエンドツーエンドASRモデルが、ドメイン内での優れた性能にもかかわらず、ドメイン外音声で異常に長く繰り返しの多い出力を生成する理由を調査すること。
• この挙動が、シーケンス・ツー・シーケンスモデルにおけるアテンション機構そのものに起因するのか、あるいはデコーディングのハイパーパrameter（例：ビーム幅、長さ正規化）に起因するのかを特定すること。
• ドメイン内ベンチマークでの性能を損なうことなく、退化した出力を検出し、緩和する手法を開発すること。
• フレーム同期DNN-HMMモデルとAR-S2Sモデルの挙動を比較し、後者にこの問題が見られるのに対し、前者には見られないことから、アーキテクチャの本質的な耐性の違いを明らかにすること。

提案手法

• AR-S2Sモデルのエンコーダー特徴を入力として、与えられた音声入力に対する参照トランスクリプトのワードピース数を予測する、双方向LSTMモデルを学習する。
• エンコーディングされた音声フレームに対して、ReLU活性化を伴うアフィン変換を施したポisson回帰ヘッドを用いて、出力長の期待値を推定する。
• デコーディング出力を、予測長の倍数（例：1.3倍）で切り詰める。この倍数は、ドメイン外の誤りを最小限に抑えるように調整され、ドメイン内WERを維持するように最適化される。
• モデルはLibriSpeech dev-cleanデータ上でファインチューニングされ、推論時に予測長を動的トリミング閾値として使用する。
• 1,607件のBNC発話のクリーンサブセットを用いて評価し、AR-S2Sデコーディングで低WERを達成しているため、ドメイン外挙動の信頼性のある評価が可能である。
• ESPnet Transformerや自己注意CTCモデルを含む複数のモデルで手法を検証し、問題がアテンションベースのデコーディングに起因する本質的要因であることを確認した。

実験結果

リサーチクエスチョン

• RQ1 AR-S2S ASRモデルが、ドメイン内での優れた性能にもかかわらず、ドメイン外音声で著しく長く繰り返しの多い出力を生成する理由は何か？
• RQ2 エコグラフィックな挙動は、アテンション機構そのものに起因するのか、それともビーム幅や長さ正規化などのデコーディングハイパーパrameterに起因するのか？
• RQ3 別個の長さ予測モデルを用いて、退化した出力を検出し、切り詰めることで、ドメイン内ベンチマークでの性能を損なわず、この問題を緩和できるか？
• RQ4 フレーム同期DNN-HMMモデルはなぜこの挙動を示さないのか？これは、アーキテクチャの本質的な耐性の違いを示唆しているのか？
• RQ5 学習された長さ予測子は、異なるアテンションベースのASRアーキテクチャにわたって、この問題をどの程度緩和できるか？

主な発見

• AR-S2Sモデルは、BNC発話39,323件のうち170件で700文字を超えるトランスクリプトを出力し、一部の出力では同じフレーズが100回以上繰り返された。一方、DNN-HMMモデルは同様の退化した出力を一切出力しなかった。
• この問題は、事前学習済みのESPnet Transformerモデルでも再現可能であり、自己注意CTCモデルに対してもある程度顕著に観察された。これは、アテンション機構そのものに起因する本質的要因であることを示唆している。
• 予測長の1.3倍でデコーディング出力を切り詰めることで、170件のエコグラフィック例のうち160件が除去され、LibriSpeechテストクリーンでのWERに増加は見られなかった。
• 長さ予測モデルは、LibriSpeechテストクリーンで平均絶対誤差2.7ワードピースを達成し、正確な動的トリミングを可能にした。
• AR-S2Sモデルのアテンション機構が、時間的に前進せずに同じ音声セグメントを繰り返し注目しているのを観察し、繰り返し出力の原因を説明できた。
• 長さ正規化の調整によりエコグラフィック挙動は軽減されたが、WEDが著しく上昇し、耐性強化のための妥当なトレードオフとはならなかった。