[論文レビュー] Interpreting Black Box Models with Statistical Guarantees.

Collin Burns, Jesse Thomason+1 more|arXiv (Cornell University)|Mar 29, 2019

Explainable Artificial Intelligence (XAI)参考文献 28被引用数 7

ひとこと要約

この論文は、有限標本における誤り率を制御するため、ブラックボックスモデルの解釈可能性を複数の仮説検定問題として再定式化し、モデルの予測を対応する反事後的状況と比較することで重要特徴を同定する手法を提案する。有意義なFDR制御手法とその近似版を導入し、視覚および言語モデルにおいて高い検出力と直感的で解釈可能な説明を実現した。

ABSTRACT

In science and medicine, model interpretations may be reported as discoveries of natural phenomena or used to guide patient treatments. In such high-stakes tasks, false discoveries may lead investigators astray. These applications would therefore benefit from control over the finite-sample error rate of interpretations. We reframe black box model interpretability as a multiple hypothesis testing problem. The task is to discover important features by testing whether the model prediction is significantly different from what would be expected if the features were replaced with uninformative counterfactuals. We propose two testing methods: one that provably controls the false discovery rate but which is not yet feasible for large-scale applications, and an approximate testing method which can be applied to real-world data sets. In simulation, both tests have high power relative to existing interpretability methods. When applied to state-of-the-art vision and language models, the framework selects features that intuitively explain model predictions. The resulting explanations have the additional advantage that they are themselves easy to interpret.

研究の動機と目的

• 高水準の科学的・医療的応用における誤検出のリスクを低減すること。
• 特徴の帰属付けにおける有限標本の誤り率を制御し、解釈の信頼性を確保すること。
• 解釈可能性を複数の仮説検定問題として再定式化し、統計的保証を可能にすること。
• 特徴を削除した際にモデルの予測が顕著に変化する特徴を同定する手法を開発すること。

提案手法

• 各特徴がモデルの予測に与える影響の有意性を検定する複数の仮説検定問題として特徴の重要性を再定式化する。
• 特徴を情報のない値に置き換えることで反事後的状況を定義し、それらが予測に与える影響を評価する。
• 順列または再標本化戦略から得られるp値に基づき、FDRを保証する解析的手法を提案する。
• p値の効率的推定を用いることで、大規模データセットへのスケーリングを可能にする近似検定手法を開発する。
• 検定フレームワークを用いて、出力に顕著な変化を引き起こすように摂動された特徴を同定する。
• 設計段階から統計的に信頼性があり、人間が解釈可能な説明が得られるようにする。

実験結果

リサーチクエスチョン

• RQ1 有限標本におけるブラックボックスモデルの特徴の帰属付けにおいて、誤り発見率（FDR）を制御できるか？
• RQ2 誤検出を最小限に抑えるとともに、実際に予測に影響を与える特徴をどのように同定できるか？
• RQ3 実世界の視覚および言語モデルにスケーリング可能な解釈手法を統計的厳密性を保ちながら実現できるか？
• RQ4 提案手法が、統計的に妥当かつ直感的に意味のある説明を生成するか？

主な発見

• 提案されたフレームワークは、特徴の帰属付けにおける誤り発見率（FDR）を制御し、高水準の応用における誤検出リスクを低減した。
• 解析的にFDRを制御する手法は、既存の解釈可能性手法と比較して、シミュレーションにおいて高い統計的検出力を示した。
• 近似検定手法により、正確な計算が不可能な実世界の視覚および言語モデルへの応用が可能になった。
• 最先端のモデルに適用した結果、関連する画像パッチや言語的トークンといった直感的に予測を説明する特徴が同定された。
• 得られた説明は正確であるだけでなく、明確な統計的検定に基づいているため、本質的に解釈可能である。
• シミュレーション研究において、既存の手法を上回る検出力と強い統計的保証を両立した。