[論文レビュー] An evaluation of word-level confidence estimation for end-to-end automatic speech recognition

Dan Oneaţă, Alexandru Caranica+2 more|arXiv (Cornell University)|Jan 14, 2021

Speech Recognition and Synthesis参考文献 45被引用数 4

ひとこと要約

この論文は、構造的で逐次的な出力に適応した不確実性推定手法を用いて、エンドツーエンド自動音声認識（ASR）における単語レベルの信頼性推定を評価する。温度スケーリングによるログティットの調整、その後に負エントロピーの計算とトークン間の和プーリングを施すことで、LibriSpeech、TED-LIUM、CommonVoiceのデータセットでAUPRおよびAUROCが顕著に向上する強力なベースラインが得られることを明らかにする。

ABSTRACT

Quantifying the confidence (or conversely the uncertainty) of a prediction is a highly desirable trait of an automatic system, as it improves the robustness and usefulness in downstream tasks. In this paper we investigate confidence estimation for end-to-end automatic speech recognition (ASR). Previous work has addressed confidence measures for lattice-based ASR, while current machine learning research mostly focuses on confidence measures for unstructured deep learning. However, as the ASR systems are increasingly being built upon deep end-to-end methods, there is little work that tries to develop confidence measures in this context. We fill this gap by providing an extensive benchmark of popular confidence methods on four well-known speech datasets. There are two challenges we overcome in adapting existing methods: working on structured data (sequences) and obtaining confidences at a coarser level than the predictions (words instead of tokens). Our results suggest that a strong baseline can be obtained by scaling the logits by a learnt temperature, followed by estimating the confidence as the negative entropy of the predictive distribution and, finally, sum pooling to aggregate at word level.

研究の動機と目的

• 現代の音声認識においてますます主流となっているエンドツーエンドASRシステムに特化した信頼性推定手法の不足に応えること。
• 元々非構造的ディープラーニングやラティスベースのシステムを想定して開発された既存の不確実性推定技術を、エンドツーエンドASRにおける逐次的出力、すなわち単語レベルの信頼性スコアに適応すること。
• 2つの主要な課題に取り組むこと：構造的で逐次的な出力のモデリング、およびトークンレベルの不確実性をより粗い単語レベルの予測に集約すること。
• 複数の標準的な音声認識データセットを対象に、包括的な信頼性推定手法のベンチマークを実施し、最も効果的なアプローチを同定すること。
• 利用可能なトークンの後方確率のみを用いて、再現可能で単純かつ効果的なベースラインを今後のエンドツーエンドASRの信頼性推定研究に提供すること。

提案手法

• 事前に訓練済みのエンドツーエンドASRモデルの最終ログティットに温度スケーリングを適用し、トークンレベルの確率分布のキャリブレーションを向上させる。
• 予測されたトークン分布の負エントロピーを不確実性の代理として用いて信頼性スコアを計算する。
• 和プーリングを用いてトークンレベルの信頼性スコアを単語レベルに集約し、トランスクリプションタスクにおけるユーザー関連の誤り検出を可能にする。
• 追加の信頼性推定技術の評価：モンテカルロドロップアウト（64回の順方向処理の平均化）および独立に訓練されたモデルによるアンサンブル。
• 推論と信頼性スコアの計算に同一の事前訓練済みASRモデルを用いることで、実験全体にわたる一貫性と再現性を確保する。
• 各データセットの開発スプリット上で温度パラメータを最適化し、改善手法（例：温度スケーリング＋ドロップアウト）の組み合わせを評価し、相乗効果を検証する。

Fig. 2 : Fraction of errors as a function of the word length. The fraction of errors is computed as the number of erroneously transcribed words divided by the total number of words, while the word length is measured as number of tokens.

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドASRにおける単語レベルで、ロジプロビビリティ、負エントロピー、モンテカルロドロップアウトのうち、どの信頼性推定手法が最も優れているか？
• RQ2 ログティットの温度スケーリングが、エンドツーエンドASRシステムにおける信頼性スコアの信頼性にどのように影響するか？
• RQ3 複数の信頼性推定手法（例：温度スケーリング＋ドロップアウト）を組み合わせることで、個別の手法よりも性能が向上するか？
• RQ4 トークンレベルの信頼性スコアを和プーリングで集約することは、意味のある単語レベルの不確実性推定を生成するのにどの程度有効か？
• RQ5 事前訓練済みASRモデルの予測性能と、その信頼性スコアの生成能力に相関があるか？

主な発見

• ログティットの温度スケーリングは、すべての指標で信頼性推定性能を顕著に向上させ、AUPRおよびAUROCで最大の向上をもたらした。
• 温度スケーリングと負エントロピー特徴、および和プーリングの組み合わせが、全体として最高のパフォーマンスを達成し、TED-LIUMテストセットで85.18%のAUROCおよび41.15%のAUPRを記録した。
• 64回の実行によるモンテカルロドロップアウトは、ベースラインを上回る性能を発揮し、温度スケーリングとアンサンブルを組み合わせた場合、AUPRが28.58%から33.00%に上昇した。
• 複数の独立に訓練されたモデルによるアンサンブルは、信頼性スコアの向上に寄与し、特に温度スケーリングと組み合わせた場合に顕著な改善が得られ、AUPRが34.57%、AUROCが81.64%に達した。
• 事前訓練済みモデルの予測性能と信頼性スコアの性能に相関が認められ、高精度のモデルは自然に優れた不確実性推定をサポートする可能性があることを示唆した。
• 負エントロピー特徴は温度スケーリングによりより大きな向上を示した一方、ロジプロビビリティ特徴はドロップアウトによりより顕著な向上を示したため、特徴ごとに手法の改善に対する感受性が異なることが示された。

Fig. 3 : AUPR $e$ performance as a function of the number of dropout runs on the TED test set. The horizontal red line indicates the performance of the model without dropout. The model uses neg-entropy features, sum aggregation and temperature scaling.