[論文レビュー] Uncertainty Estimation in Autoregressive Structured Prediction

Andrey Malinin, Mark Gales|arXiv (Cornell University)|Feb 18, 2020

Natural Language Processing Techniques参考文献 48被引用数 31

ひとこと要約

本論文は、自己回帰型構造予測タスク（例：NMTおよびASR）における不確実性を推定するためのアンサンブルベースの確率的フレームワークを提示し、reverse mutual informationのような新しい指標を導入するとともに、翻訳および音声認識データセットにおけるトークンレベルおよびシークエンスレベルの不確実性ベースラインを提供します。

ABSTRACT

Uncertainty estimation is important for ensuring safety and robustness of AI systems. While most research in the area has focused on un-structured prediction tasks, limited work has investigated general uncertainty estimation approaches for structured prediction. Thus, this work aims to investigate uncertainty estimation for autoregressive structured prediction tasks within a single unified and interpretable probabilistic ensemble-based framework. We consider: uncertainty estimation for sequence data at the token-level and complete sequence-level; interpretations for, and applications of, various measures of uncertainty; and discuss both the theoretical and practical challenges associated with obtaining them. This work also provides baselines for token-level and sequence-level error detection, and sequence-level out-of-domain input detection on the WMT'14 English-French and WMT'17 English-German translation and LibriSpeech speech recognition datasets.

研究の動機と目的

• 機械学習の確率的アンサンブルフレームワーク内で、構造化された自己回帰予測タスクに対する不確実性推定の動機づけと開発。
• トークンレベルおよびシークエンスレベルでの全体的不確実性と知識的不確実性（エピステミック）の情報理論的尺度を定義。
• 構造予測の新しい不確実性指標としてreverse mutual information (RMI)を導入。
• 実用的なモンテカルロ近似とビーム探索対応の推定量を提供し、計算可能な不確実性推定を実現。
• MTおよびASRデータセットでのトークンレベルおよびシークエンスレベルの誤り検出とアウト・オブ・ドメイン検出のベースラインを確立。

提案手法

• モデルパラメータをランダム変数とし、予測を近似後方分布q(theta)で平均するベイズ的アンサンブルの視点を採用。
• 予測後方分布のエントロピーとして全体的不確実性を導出し、thetaとyの間の相互情報によって知識的不確実性を分解。
• 構造予測の新しい多様性指標としてreverse mutual information (RMI)を導入、RMI = K[y, theta|x,D] - I[y, theta|x,D]。
• 全体および知識不確実性のモンテカルロ推定量を提案、S-MCおよびC-MCの派生を含み、シーケンス不確実性の長さ正規化レート形について議論。
• 2つのアンサンブル結合方式：expectation-of-products (ExPr) と product-of-expectations (PrEx) を検討し、それらが不確実性と予測に与える影響を論じる。

実験結果

リサーチクエスチョン

• RQ1 統一されたアンサンブルベースのフレームワークにおいて、自己回帰型構造予測タスクの不確実性はどのように定義・推定できるか。
• RQ2 どの情報理論的指標（全体、不確定性、データ、知識不確定性）がトークンレベルおよびシークエンスレベルの予測の不確実性を最も効果的に特徴づけるか。
• RQ3 構造予測不確実性の新しい指標としての逆相互情報（RMI）の有用性は何か。
• RQ4 モンテカルロ近似とビーム探索の統合は、MTとASRにおける不確実性推定の扱いやすさと精度にどのように影響するか。
• RQ5 翻訳および音声認識において、不確実性指標は誤り検出やアウトオブドメイン入力検出といった実用タスクを支援できるか。

主な発見

• 全体的不確実性の指標は、特にジョイントシークエンス推定がシークエンスレベルの誤り検出に強い信号を提供する。
• expectationの積を用いるアンサンブル結合は、MTとASRタスクにおけるBLEUとWERで代替手法より予測性能を向上させる。
• 逆相互情報（RMI）は、OOD検出に有利な性質を持つ有用な知識不確実性指標として現れる。
• OOD検出性能はタスクによって異なり（ASRは一般にMTよりOOD検出が容易）、ドメインミスマッチが大きいほど改善される。RMIはコピー効果に対して頑健。
• ASRの誤り検出には、トークンレベル予測後分布から派生したトークンレベルの不確実性指標が、単純なエントロピーよりも優れており、トークン後分布の積を用いると強力な結果を出す。
• ベースライン結果は、WMT’14 EN-FR、WMT’17 EN-DE、LibriSpeechデータセットにおけるシークエンスレベルの誤り検出およびOOD検出の不確実性ベースの手法を示す。