[論文レビュー] True to the Model or True to the Data?

Hugh Chen, Joseph D. Janizek+2 more|arXiv (Cornell University)|Jun 29, 2020

Explainable Artificial Intelligence (XAI)参考文献 19被引用数 37

ひとこと要約

本論文は特徴量アトリビューションにおける観測的Shapley値と介入的Shapley値を比較し、用途依存の利点を示すとともに、実データ例（信用リスクと生物学）を用いた効率的な線形モデルアプローチを提案する。

ABSTRACT

A variety of recent papers discuss the application of Shapley values, a concept for explaining coalitional games, for feature attribution in machine learning. However, the correct way to connect a machine learning model to a coalitional game has been a source of controversy. The two main approaches that have been proposed differ in the way that they condition on known features, using either (1) an interventional or (2) an observational conditional expectation. While previous work has argued that one of the two approaches is preferable in general, we argue that the choice is application dependent. Furthermore, we argue that the choice comes down to whether it is desirable to be true to the model or true to the data. We use linear models to investigate this choice. After deriving an efficient method for calculating observational conditional expectation Shapley values for linear models, we investigate how correlation in simulated data impacts the convergence of observational conditional expectation Shapley values. Finally, we present two real data examples that we consider to be representative of possible use cases for feature attribution -- (1) credit risk modeling and (2) biological discovery. We show how a different choice of value function performs better in each scenario, and how possible attributions are impacted by modeling choices.

研究の動機と目的

• MLの説明におけるShapley値の観測条件付けと介入条件付けの議論を動機づける。
• 観測Shapley値を効率的に計算するための線形モデルフレームワークを開発する。
• 特徴量の相関が観測SHAPの収束とアトリビューションにどのように影響するかを検討する。
• 実データ（credit risk and biology）を用いて、モデルに真実であるべき時とデータに真実であるべき時の区別を示す。
• Shapleyベースの説明を適用する際の実践的な影響と限界について議論する。

提案手法

• 観測条件付き期待値と介入条件付き期待値を用いてv(S)を定義する。
• f(x)=βx+b の線形モデルにおけるShapley値の解析形を導出する。
• x ~ N(μ,Σ) を仮定し、適切な射影を用いて条件付き期待値を全特徴空間へ射影する。
• 式をT(μ)とT(x)に因数分解して指数項をサンプル間で再利用する高速計算戦略を提供する。
• モンテカルロサンプリングを近似として議論し、計算コストを比較する（厳密 vs.近似）。
• 実データセット（LendingClub loan defaults and NHANES mortality）およびRNA-seqベースの生物学的発見シナリオに適用する。

実験結果

リサーチクエスチョン

• RQ1 異なる応用でShapleyアトリビューションにどの条件付け（観測的か介入的か）を用いるべきか。
• RQ2 特徴量の相関は線形モデルにおける観測SHAPの収束とアトリビューションにどのように影響しますか？
• RQ3 モデリングの選択（例: Elastic Net）は相関特徴量に関するデータ真実アトリビューションの問題を緩和できますか？
• RQ4 実務で観測SHAP値と介入SHAP値はデータに真実かモデルに真実かという点と整合しますか？
• RQ5 実世界のタスクにおける厳密な観測SHAP計算とモデルベースの代替手法との計算的トレードオフは何ですか？

主な発見

• 観測SHAP値は収束が遅く、相関のある特徴量間でクレジットを分散させる。特に特徴量の相関が高まるにつれてその傾向は強くなる。
• 介入SHAP値はモデルにより真実である傾向があり、モデルが明示的に使用する特徴量にクレジットを割り当て、これらの特徴量を摂動させたときにより大きな影響を生む。
• 観測SHAPは相関のせいでモデルが使用していない特徴量に重要性を割り当てることがある（例: 他の特徴と相関する場合にBMIがアトリビューションに影響を与える）。
• クレジットリスクのシナリオでは、介入SHAPの説明に基づく介入が観測的説明よりも予測デフォルトリスクを効果的に低減する。
• 生物学的発見シナリオでは、Lassoモデルを用いると観測SHAPは真の因果特徴をよりよく回復する一方で、相関特徴量間でクレジットを分散させるElastic Netモデリングはデータ構造と説明を整合させる可能性がある。ただし、介入SHAPを用いたElastic Netは一般に計算機的により高速なルートを提供する。
• Elastic Netモデルは相関特徴量間でクレジットを分散させることができ、計算負荷の大きい観測SHAP計算の必要性を軽減する。