[論文レビュー] Input Length Matters: Improving RNN-T and MWER Training for Long-form Telephony Speech Recognition

Zhiyun Lu, Yanwei Pan+6 more|arXiv (Cornell University)|Oct 8, 2021

Speech Recognition and Synthesis被引用数 10

ひとこと要約

この論文は、より長い入力セグメントでエンドツーエンドのRNN-Tモデルを訓練することで、長時間の電話音声認識において単語誤り率（WER）が著しく向上することを示している。ログ損失では平均で15.7%、MWER損失では8.8%のWER低減を達成した。本研究では、まず長いセグメントでログ損失による事前学習を行い、その後、元のセグメントでMWERによる微調整を行う二段階の訓練レシピを提案。4.8時間のMWER訓練で、長セグメントでの完全なMWER訓練と比較して4倍の計算コスト削減を実現しながら、ほぼ最適なWERを達成した。

ABSTRACT

End-to-end models have achieved state-of-the-art results on several automatic speech recognition tasks. However, they perform poorly when evaluated on long-form data, e.g., minutes long conversational telephony audio. One reason the model fails on long-form speech is that it has only seen short utterances during training. In this paper we study the effect of training utterance length on the word error rate (WER) for RNN-transducer (RNN-T) model. We compare two widely used training objectives, log loss (or RNN-T loss) and minimum word error rate (MWER) loss. We conduct experiments on telephony datasets in four languages. Our experiments show that for both losses, the WER on long-form speech reduces substantially as the training utterance length increases. The average relative WER gain is 15.7% for log loss and 8.8% for MWER loss. When training on short utterances, MWER loss leads to a lower WER than the log loss. Such difference between the two losses diminishes when the input length increases.

研究の動機と目的

• 長時間の電話音声認識におけるRNN-Tモデルの性能に、訓練発話長が与える影響を調査すること。
• 長時間の入力で学習する場合、ログ損失とMWER損失の効果を比較すること。
• セグメンテーションを伴わない長時間の音声でWERを低減するため、より長い訓練シーケンスを活用すること。
• ログ損失とMWER損失の利点を組み合わせた計算コスト効率の良い訓練レシピを開発すること。
• 露出バイアスを低減し、長時間でノイズの多い電話記録への一般化性能を向上させること。

提案手法

• 著者は、短い発話から完全な会話まで変動する長さに分割された訓練データを用いてRNN-Tモデルを訓練し、非音声セグメントや複数人の話者を保持した。
• 二つの訓練目的を比較：標準的なログ損失（RNN-T損失）と最小単語誤り率（MWER）損失。MWER損失はテスト指標を直接最適化する。
• MWER訓練では、ビームサーチを用いてN個の最良候補を生成し、それらの候補の期待単語誤り率を近似した。
• 二段階の訓練レシピを提案：まず長セグメントでログ損失による事前学習を行い、その後、元の未分割データでMWERによる微調整を行う。
• 微調整において、モデル全体とデコーダー（予測ネットワークとジョイントネットワーク）のみを微調整し、MWER目的関数のλを低く設定した。
• 四言語の電話音声データセット（ドメイン内およびドメイン外のテストセットを含む）で評価し、WERと計算コストを測定した。

実験結果

リサーチクエスチョン

• RQ1 訓練発話長を延ばすことで、RNN-Tモデルの長時間の電話音声認識性能が向上するか？
• RQ2 長時間の入力で学習する場合、ログ損失とMWER損失の両者によるWER低減効果はどのように比較できるか？
• RQ3 性能を損なわずに、長時間のASRにMWER損失を計算的に実行可能にすることができるか？
• RQ4 ログ損失とMWER損失を組み合わせた二段階の訓練レシピは、低い訓練コストでより良いWERを達成できるか？
• RQ5 訓練データに長いコンテキストを含めることで、長時間データへのモデルの一般化性能はどのように変化するか？

主な発見

• 四言語にわたる平均で、ログ損失では15.7%、MWER損失では8.8%のWER低減が、発話長を延ばすことで達成された。
• 訓練入力長が長くなるにつれて、MWERとログ損失の性能差が縮小する傾向にあり、これは長い入力がMWERの利点を相対的に小さくしていることを示している。
• スペイン語の長時間テストセットでは、両損失関数において、訓練セグメントが長くなるほどWERが一貫して改善した。
• 二段階の訓練レシピ（長セグメントでのログ損失による事前学習＋元のセグメントでのMWER微調整）は、完全なMWER訓練と同等またはそれ以上のWERを達成した。
• MWERでデコーダーのみを微調整することで、合計訓練時間を4.8時間にまで短縮でき、長セグメントでの完全なMWER訓練と比較して4倍の短縮効果を達成した。
• 二段階アプローチは、ドメイン内およびドメイン外の電話音声テストセットで最先端のWERを達成したが、エンドツーエンドのMWER訓練と比較してはるかに低い計算コストで実現した。