[論文レビュー] CXPlain: Causal Explanations for Model Interpretation under Uncertainty

Patrick Schwab, Walter Karlen|arXiv (Cornell University)|Oct 27, 2019

Explainable Artificial Intelligence (XAI)被引用数 75

ひとこと要約

CXPlain は、任意の予測子に対して特徴量の重要度を因果的に推定する別個の説明モデルを訓練し、ブートストラップベースの不確実性を用いて、多くのモデル非依存法を上回り、迅速な説明を実現します。

ABSTRACT

Feature importance estimates that inform users about the degree to which given inputs influence the output of a predictive model are crucial for understanding, validating, and interpreting machine-learning models. However, providing fast and accurate estimates of feature importance for high-dimensional data, and quantifying the uncertainty of such estimates remain open challenges. Here, we frame the task of providing explanations for the decisions of machine-learning models as a causal learning task, and train causal explanation (CXPlain) models that learn to estimate to what degree certain inputs cause outputs in another machine-learning model. CXPlain can, once trained, be used to explain the target model in little time, and enables the quantification of the uncertainty associated with its feature importance estimates via bootstrap ensembling. We present experiments that demonstrate that CXPlain is significantly more accurate and faster than existing model-agnostic methods for estimating feature importance. In addition, we confirm that the uncertainty estimates provided by CXPlain ensembles are strongly correlated with their ability to accurately estimate feature importance on held-out data.

研究の動機と目的

• 任意の機械学習モデルに対して不確実性を定量化した高速かつ正確な特徴量重要度推定の必要性を動機づける。
• 別のモデルを再訓練することなく説明するよう学習する因果説明（CXPlain）フレームワークを導入する。
• 説明モデルのブートストラップ再サンプリングを通じて特徴量重要度の不確実性定量化を可能にする。
• CXPlain が既存の方法よりも正確かつ高速であり、信頼できる不確実性推定を提供することを示す。

提案手法

• 説明を教師あり学習タスクとして定式化し、ターゲットモデル fhat を再訓練せずに説明するための別個の CXPlain モデルを訓練する。
• 因果目的関数を用いて予測精度への特徴の限界寄与を Granger-causality に着想を得た損失で定量化する。
• 各サンプルの重要度は、各特徴を欠いた場合の予測損失と特徴ありの場合を比較して計算し、X_i をマスクして X\{i} を得て、Ω に正規化する。
• 因果損失を L_causal = (1/N) sum KL(Omega_X, A_X) と定義し、CXPlain の出力を真の因果的重要度に合わせる。
• 説明モデルのニューラルアーキテクチャを探索（MLP と U-net）し、データモダリティに対応、画像には特化の可能性に言及。
• ブートストラップアンサンブルを組み込み、特徴量重要度の不確実性推定を得る。アンサンブルの中央値と分位点に基づく信頼区間を使用。）

実験結果

リサーチクエスチョン

• RQ1 CXPlain は標準ベンチマーク（MNIST、ImageNet）およびデータモダリティ全体で、最先端のモデル非依存手法より特徴量重要度推定の精度を高められるか。
• RQ2 CXPlain は評価時に既存のモデル非依存度アトリビューション手法より高速かつモデル非依存のままであるか。
• RQ3 ブートストラップベースの不確実性推定は、保留データ上で割り当てられた特徴重要度の精度を信頼性高く反映するか。
• RQ4 画像データに対する説明品質に対するアーキテクチャの選択（MLP vs. U-net）の影響はどうか？

主な発見

• CXPlain（特に U-net アーキテクチャを用いた場合）は、MNIST および ImageNet のベンチマークで最先端手法と同等、またはそれを上回る精度を示す。
• CXPlain は LIME や SHAP といったモデル非依存手法より評価時に著しく高速である。
• ブートストラップアンサンブルは、保持データ上の特徴重要度推定の真の品質と相関する不確実性推定を生み出し、アンサンブルサイズが増えるにつれて改善する。
• 画像データには、特化した画像アーキテクチャ（例: U-net）の方が、一般的な MLP より説明性能が良い。
• CXPlain の説明は意味的に重要な領域により焦点を絞られ、主観的にクリーンな寄与度をもたらす。