[論文レビュー] Improving accuracy of rare words for RNN-Transducer through unigram shallow fusion

Vijay Ravi, Yile Gu+6 more|arXiv (Cornell University)|Nov 30, 2020

Natural Language Processing Techniques参考文献 23被引用数 7

ひとこと要約

本稿では、RNN-Transducer (RNN-T) ASRシステムにおけるレアワード認識を向上させるために、推論時に固定スコアブーストをレアワードに適用する単純だが効果的な手法であるユニグラムシャロウフェージョン (USF) を提案する。USFは一般テストセットの性能を劣化させることなく、レアワードのWERを相対的に3.7%改善し、第二段階のリスコアリングと組み合わせて効果を発揮する。これは、サブワードベースのRNN-Tモデルにおけるビタビ探索に起因する確率推定誤差を是正するものである。

ABSTRACT

End-to-end automatic speech recognition (ASR) systems, such as recurrent neural network transducer (RNN-T), have become popular, but rare word remains a challenge. In this paper, we propose a simple, yet effective method called unigram shallow fusion (USF) to improve rare words for RNN-T. In USF, we extract rare words from RNN-T training data based on unigram count, and apply a fixed reward when the word is encountered during decoding. We show that this simple method can improve performance on rare words by 3.7% WER relative without degradation on general test set, and the improvement from USF is additive to any additional language model based rescoring. Then, we show that the same USF does not work on conventional hybrid system. Finally, we reason that USF works by fixing errors in probability estimates of words due to Viterbi search used during decoding with subword-based RNN-T.

研究の動機と目的

• エンドツーエンドのRNN-Transducer (RNN-T) 自動音声認識 (ASR) システムにおけるレアワードの認識精度が低いという長年の課題に対処すること。
• 再トレーニングや顕著な計算負荷を要せず、軽量で低遅延な手法を構築し、レアワード認識を向上させること。
• ビタビデコードに起因する確率推定誤差を是正するために、ユニグラム語彙数に基づくシャロウフェージョンが有効かどうかを検証すること。
• USFの有効性を、単独での適用および第二段階のリスコアリング技術と組み合わせた場合に評価すること。
• RNN-Tと従来のハイブリッドASRシステムとの間でUSFの性能を比較し、モデル固有の挙動を理解すること。

提案手法

• USFは、RNN-Tの学習データから得たユニグラムカウントを用いて、小さなユニグラム有限状態トランスデューサー (FST) を構築する。このFSTでは、カウントが2以上で$n_{\mathrm{thresh}}$未満の語彙が選択される。
• 選択されたレアワードにはFST内で固定スコア$-1$が割り当てられ、残りのすべての語にはスコア0の失敗アーキュール$\rho$が適用される。
• 実時間のデコード処理において、RNN-TスコアとUSF FSTスコアが学習可能な重み$\alpha$を用いた補間によって統合される。
• 統合スコアは、第二段階のリスコアリング段階でニューラル言語モデル (NLM) とカバレッジ項$\gamma|w|$を用いて再スコアリングされる。
• この手法は推論時のみに適用され、モデルの再トレーニングは不要で、わずか数MBのメモリフットプリントしか追加しない。
• n-gramに基づく文脈信号ではなく、大規模で文脈を考慮しないユニグラムリストを用いることで、文脈バイアスと対比される。

実験結果

リサーチクエスチョン

• RQ1 シンプルなユニグラムベースのシャロウフェージョン手法が、一般性能を劣化させることなく、RNN-Tにおけるレアワード認識を顕著に改善できるか？
• RQ2 ユニグラムシャロウフェージョンが、サブワードベースのRNN-Tモデルにおけるビタビデコードに起因する確率推定誤差を是正できるか？
• RQ3 USFの改善効果が、ニューラル言語モデルを用いた第二段階リスコアリングと相乗的であるか？
• RQ4 なぜUSFはRNN-Tでは効果的であるが、従来のハイブリッドASRシステムでは効果を発揮しないのか？
• RQ5 低メモリと低遅延のオーバーヘッドであるため、生産環境でも効率的に適用可能か？

主な発見

• USFは一般テストセットの性能に劣化を来すことなく、テストセットにおけるレアワードのWERを相対的に3.7%改善し、高いロバスト性を示した。
• USFによる改善効果は、ニューラル言語モデルを用いた第二段階リスコアリングと相乗的であることが示され、相補的な利点があることが裏付けられた。
• USFはハイブリッドASRシステムでは性能向上を示さず、わずかな補間重みで一般テストセットの性能が著しく劣化した。
• ハイブリッドモデルではUSFが失敗する理由は、RNN-Tに特有の誤差要因、すなわちビタビ探索に起因するレアワード確率の過小評価を是正しているためである。
• 本手法は非常に効率的であり、数MBのメモリしか必要とせず、遅延を追加しないため、生産環境への導入に適している。
• 実験的分析により、USFがサブワード分割の和を確率推定で無視するビタビデコードの検索誤差を補償することで、検索誤差を是正しているという仮説が裏付けられた。