[論文レビュー] A Causal Lens for Peeking into Black Box Predictive Models: Predictive Model Interpretation via Causal Attribution

Aria Khademi, Vasant Honavar|arXiv (Cornell University)|Aug 1, 2020

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、ルービン＝ネイマンの潜在的アウトカム枠組みを用いて、各入力特徴量がモデル出力に与える因果的影響を推定することで、ブラックボックス予測モデルを解釈するための因果的帰属フレームワークを提案する。因果的帰属は、交絡要因が存在する状況でも相関に基づく手法よりも信頼性が高く、信頼できる説明を提供することを示しており、合成データおよび実世界のデータセット（数字分類およびパーキンソン病予測を含む）でその有効性が検証されている。

ABSTRACT

With the increasing adoption of predictive models trained using machine learning across a wide range of high-stakes applications, e.g., health care, security, criminal justice, finance, and education, there is a growing need for effective techniques for explaining such models and their predictions. We aim to address this problem in settings where the predictive model is a black box; That is, we can only observe the response of the model to various inputs, but have no knowledge about the internal structure of the predictive model, its parameters, the objective function, and the algorithm used to optimize the model. We reduce the problem of interpreting a black box predictive model to that of estimating the causal effects of each of the model inputs on the model output, from observations of the model inputs and the corresponding outputs. We estimate the causal effects of model inputs on model output using variants of the Rubin Neyman potential outcomes framework for estimating causal effects from observational data. We show how the resulting causal attribution of responsibility for model output to the different model inputs can be used to interpret the predictive model and to explain its predictions. We present results of experiments that demonstrate the effectiveness of our approach to the interpretation of black box predictive models via causal attribution in the case of deep neural network models trained on one synthetic data set (where the input variables that impact the output variable are known by design) and two real-world data sets: Handwritten digit classification, and Parkinson's disease severity prediction. Because our approach does not require knowledge about the predictive model algorithm and is free of assumptions regarding the black box predictive model except that its input-output responses be observable, it can be applied, in principle, to any black box predictive model.

研究の動機と目的

• 医療、金融、刑事司法など高リスク分野におけるブラックボックス予測モデルの信頼できる因果的説明のための重要なニーズに対処すること。
• 交絡要因を考慮しない相関に基づく解釈手法の限界を克服し、信頼性の低い帰属を生じさせないこと。
• モデルの内部構造を知らなくても、観測可能な入出力行動のみを用いて、ブラックボックスモデルをモデルに依存しない方法で解釈する手法を開発すること。
• モデル解釈を因果に根ざさせ、説明が「なぜ」の問いに答えることができ、信頼性と説明責任を支えるようにすること。
• 因果的帰属の有効性を実世界および合成データ環境で評価し、従来の特徴量重要度や勾配に基づく手法よりも優れていることを示すこと。

提案手法

• 潜在的アウトカム枠組みを用いて、各入力を「処置」とし、モデル出力を「結果」として、入力の因果的影響を推定する。
• ブラックボックスモデルの入出力応答から得られる観察データを用い、逆確率重み付けや感受性スコアマッチングなどの手法により平均因果的効果を推定する。
• 強い無視可能性（strong ignorability）を仮定しており、すべての交絡要因が観測されており、入力と出力の両方に影響を与える未測定の交絡要因が存在しないことを前提としている。
• 複数の推定手法を用いて因果的効果を推定し、一貫性を確認する。推定値が複数の手法で一致する場合、信頼性の高い帰属を優先する。
• フレームワークはモデルに依存せず、モデルのパラメータ、アーキテクチャ、学習プロセスの知識を必要としない。
• 構造的因果モデルや背景知識を活用して、観察データからの因果的効果推定時に交絡要因を特定・制御する。

実験結果

リサーチクエスチョン

• RQ1 因果的帰属は、相関に基づく手法よりも、ブラックボックス予測モデルの説明をより信頼性が高く信頼できるものにできるか？
• RQ2 モデルの内部構造にアクセスできない状況で、入出力の観測のみから、個々の特徴量がモデル出力に与える因果的効果をどのように推定できるか？
• RQ3 交絡要因が存在する状況において、因果的帰属は従来の特徴量重要度や勾配に基づく説明手法を上回るか？
• RQ4 異なる推定手法間で因果的帰属がどれほど一貫しているか？また、複数手法での一致は、説明に対する信頼性を高めるか？
• RQ5 提案された因果的帰属フレームワークは、実世界および合成データセット、特に深層ニューラルネットワークに対しても効果的に適用可能か？

主な発見

• 合成データセットにおいて真の因果関係が既知である状況で、因果的帰属フレームワークは、モデル出力の原因となる真の入力特徴量を的確に同定できた。
• 手書き数字分類データセットでは、同定された帰属が一貫性があり、画像内の既知の顕著な特徴と整合的であることが確認された。
• パーキンソン病の重症度予測においては、声の特徴や運動機能指標といった臨床的に関連性のある特徴量が同定され、実世界の医療応用への関連性が示された。
• 交絡要因が存在する状況では、相関に基づくアプローチに比べて、複数の推定手法にわたってより正確で安定した帰属が得られ、本手法の優位性が裏付けられた。
• 異なる手法間での因果的効果推定値の不一致は、強い無視可能性の仮定が破綻している可能性を示しており、このような状況では説明を慎重に評価する必要があることを示唆している。
• 入出力動作が観測可能な限り、本フレームワークは任意のブラックボックスモデルに適用可能であり、機械学習応用分野全体に広く一般化可能である。