[論文レビュー] Getting a CLUE: A Method for Explaining Uncertainty Estimates

Javier Antorán, Umang Bhatt+3 more|arXiv (Cornell University)|Jun 11, 2020

Explainable Artificial Intelligence (XAI)参考文献 50被引用数 41

ひとこと要約

CLUE は深層生成モデルの潜在空間におけるカウンターファクトゥアルを生成することによりニューラルネットの予測不確実性を説明し、不確実性に焦点を当てた説明と評価を可能にし、強力な経験的・ユーザー研究の支持を得ている。

ABSTRACT

Both uncertainty estimation and interpretability are important factors for trustworthy machine learning systems. However, there is little work at the intersection of these two areas. We address this gap by proposing a novel method for interpreting uncertainty estimates from differentiable probabilistic models, like Bayesian Neural Networks (BNNs). Our method, Counterfactual Latent Uncertainty Explanations (CLUE), indicates how to change an input, while keeping it on the data manifold, such that a BNN becomes more confident about the input's prediction. We validate CLUE through 1) a novel framework for evaluating counterfactual explanations of uncertainty, 2) a series of ablation experiments, and 3) a user study. Our experiments show that CLUE outperforms baselines and enables practitioners to better understand which input patterns are responsible for predictive uncertainty.

研究の動機と目的

• 特にBNNにおいて、確率的モデルで解釈可能な不確実性推定が必要であることを動機づける。
• データ多様体上に留まりつつ、モデルの不確実性を低減する最小の潜在空間変化を特定するためにCLUEを導入する。
• 不確実性のカウンターファクトル説明を評価するための計算的評価フレームワークを提供する。
• 表形式および画像データセット全体でのCLUEの有効性と、人間による研究を通じた検証を示す。

提案手法

• 元の入力に近いが不確実性を低減する入力を探索するために、補助的な潜在空間ディープ生成モデル（DGM）とVAEデコーダを定義する。
• CLUE目的関数 L(z) = H(y|mu_theta(x|z)) + d(mu_theta(x|z), x0) を定式化し、潜在コード z を最適化して x_CLUE を得る。
• DGMデコーダを用いて z_CLUE を x_CLUE にデコードし、変更が分布上にありデータ多様体の近傍にとどまることを保証する。
• 回帰および分類タスクに適用可能な、エピステミックとアレアトリックの両方の成分を含む不確実性推定量 H を使用する。
• 初期化戦略 z0 = mu_phi(z|x0) を用い、複数回の実行を行って多様な CLUE を得る。収束基準に基づく早期停止を行う。

実験結果

リサーチクエスチョン

• RQ1 入力を分布内にとどめたまま、BNN が予測についてより確信するようにする最小の変更は何か？
• RQ2 潜在空間のカウンターファクトル（CLUE）は高いモデル不確実性を意味ある、分布内の説明を提供できるか？
• RQ3 CLUE は基準となる不確実性の説明および特徴量重要性法と比較して不確実性の説明においてどうか？
• RQ4 真のデータ生成過程（グラウンドトゥルース）は不確実性のカウンターファクトル説明の客観的評価を許すか？

主な発見

• CLUE は複数のデータセットとタスクにおいて不確実性の説明でベースラインを上回る。
• 潜在空間探索により CLUE が分布内にとどまり解釈可能となり、データ多様体から逸脱する摂動を回避する。
• 計算的評価では、CLUE は U-FIDO より多くの真の不確実性を説明するが、U-FIDO は入力変更をより小さくする。
• CLUE は真の生成モデルの下での対数尤度に基づく評価指標で、10タスク中8タスクで最良の性能をCLUEが達成。
• ユーザー研究は、CLUE が実務家の新しい入力に対してBNNが確信するか不確実かを予測する能力を向上させ、Local Sensitivity や他のベースラインを上回ることを示した。
• より表現力のある補助 DGMs は、同様の不確実性削減に対してより小さな入力変更を伴う、より関連性の高い CLUE を生み出し、不確実性に関する情報量を維持する。