[論文レビュー] Uncertainty in Structured Prediction.

Andrey Malinin, Mark Gales|arXiv (Cornell University)|Feb 18, 2020

Topic Modeling参考文献 27被引用数 7

ひとこと要約

本論文は、機械翻訳や音声認識などの系列対系列タスクにおけるトークンレベルおよび系列レベルの不確実性評価を可能にする、統一的で確率的アンサンブルベースのフレームワークを提案する。解釈可能な不確実性指標を導入し、WMT14/17およびLibriSpeechデータセットにおいて誤りおよび外部ドメイン入力の検出のための強力なベースラインを確立する。

ABSTRACT

Uncertainty estimation is important for ensuring safety and robustness of AI systems. While most research in the area has focused on un-structured prediction tasks, limited work has investigated general uncertainty estimation approaches for structured prediction. Thus, this work aims to investigate uncertainty estimation for structured prediction tasks within a single unified and interpretable probabilistic ensemble-based framework. We consider: uncertainty estimation for sequence data at the token-level and complete sequence-level; interpretations for, and applications of, various measures of uncertainty; and discuss both the theoretical and practical challenges associated with obtaining them. This work also provides baselines for token-level and sequence-level error detection, and sequence-level out-of-domain input detection on the WMT14 English-French and WMT17 English-German translation and LibriSpeech speech recognition datasets.

研究の動機と目的

• 構造的予測タスクにおける一般的で解釈可能な不確実性推定手法の不足に対処すること。
• 系列モデルにおけるトークンレベルおよび完全な系列レベルの両方での不確実性評価を可能にすること。
• 翻訳および音声認識タスクにおけるトークンレベルの誤りおよび外部ドメイン入力の検出のための実用的ベースラインを提供すること。
• 構造的出力の不確実性推定における理論的および実践的課題を分析すること。
• さまざまな不確実性指標を現実世界のAIの安全性および耐障害性の文脈で解釈し、適用すること。

提案手法

• フレームワークは、構造的出力全体にわたる予測不確実性を推定するために確率的アンサンブルモデルを採用する。
• アンサンブルメンバー間の予測分散を用いて、トークンレベルでの不確実性を計算する。
• 系列レベルの不確実性は、微分可能で構造化された集約メカニズムを用いてトークンレベルの不確実性を集約することで得られる。
• 単一の確率的モデリングフレームワーク内で、アレアトリック不確実性とエピステム的不確実性の両方を推定できる。
• 不確実性スコアを用いて、翻訳およびASRタスクにおける外部ドメイン入力およびモデル誤りの検出に応用する。
• アプローチは、WMT14英語-フランス語、WMT17英語-ドイツ語翻訳、およびLibriSpeech音声認識ベンチマークで評価される。

実験結果

リサーチクエスチョン

• RQ1 構造的予測において、トークンレベルおよび系列レベルの両方で不確実性を一貫して推定する方法は何か？
• RQ2 構造的予測タスクにおける最も解釈可能で実行可能な不確実性指標は何か？
• RQ3 提案されたフレームワークは、外部ドメイン入力およびモデル誤りの検出においてどの程度有効か？
• RQ4 構造的出力への不確実性推定を適用する際の理論的および実践的課題は何か？
• RQ5 さまざまな不確実性指標は、現実世界のデプロイメント環境でどのように比較されるか？

主な発見

• フレームワークは、構造的タスクにおけるトークンレベルおよび系列レベルの両方の予測に対する統一的で解釈可能な不確実性推定アプローチを提供する。
• WMT14/17およびLibriSpeechベンチマークにおいて、外部ドメイン入力および系列レベルの誤りの検出において優れた性能を達成する。
• トークンレベルの不確実性スコアは、モデルの予測誤りと効果的に相関しており、信頼性の高い誤り検出が可能である。
• 系列レベルの不確実性指標は、低信頼性または異常な出力を特定するうえで頑健で実行可能である。
• フレームワークは、不確実性のキャリブレーションおよび計算コストに関する実用的課題を明らかにしたが、特に大規模な系列モデルでは顕著である。
• 本研究は、系列モデリングにおける不確実性に配慮した誤りおよびドメイン検出のための新しいベースラインを確立した。