[論文レビュー] Understanding Global Feature Contributions With Additive Importance Measures

Ian Covert, Scott Lundberg+1 more|arXiv (Cornell University)|Apr 1, 2020

Explainable Artificial Intelligence (XAI)参考文献 42被引用数 168

ひとこと要約

本論文は加法的フレームワークを用いてグローバルな特徴重要度を統合し、Shapley値を用いて特徴間の相互作用を説明し、より速く信頼性の高いグローバルな説明を提供するモデル非依存の手法であるSAGEを導入する。

ABSTRACT

Understanding the inner workings of complex machine learning models is a long-standing problem and most recent research has focused on local interpretability. To assess the role of individual input features in a global sense, we explore the perspective of defining feature importance through the predictive power associated with each feature. We introduce two notions of predictive power (model-based and universal) and formalize this approach with a framework of additive importance measures, which unifies numerous methods in the literature. We then propose SAGE, a model-agnostic method that quantifies predictive power while accounting for feature interactions. Our experiments show that SAGE can be calculated efficiently and that it assigns more accurate importance values than other methods.

研究の動機と目的

• 予測力と特徴サブセットとの相互作用の観点からグローバルな特徴重要度を定義する。
• さまざまな既存手法のための加法的重要度指標の統一フレームワークを導入する。
• 特徴間の相互作用を考慮するShapley値を用いたモデル非依存の手法であるSAGEを提案する。
• SAGE値を計算する際の不確かさの推定を伴う効率的なサンプリングベースの近似を提供する。
• SAGEが特徴属性付けの精度を高め、破損した特徴を検出できることを示す。

提案手法

• サブセット特徴の予測力をモデルベースおよび普遍的指標を用いて形式化する。
• 代理指標u(S)がv(S)を近似する加法的重要度指標を定義する。u(S)=phi0+sum_{i in S} phi_i。
• SAGEを、特徴サブセットから得られるモデルの予測力v_fのShapley値として紹介する。
• SAGE値を近似するサンプリングベースのアルゴリズムを提案し、収束保証と不確かさの推定を提供する。
• SAGEとSHAPの関係を示し、可逆な特徴変換に対する不変性について議論する。
• グローバルな説明のためにナイーブなSHAPベース計算より高速な効率的な計算アプローチを提供する。

実験結果

リサーチクエスチョン

• RQ1 特徴サブセット全体にわたる予測力の観点からグローバルな特徴重要度をどのように定義できるか？
• RQ2 加法的重要度指標は既存のグローバル特徴重要度手法をどのように統合できるか？
• RQ3 SAGEは相互作用を考慮しつつモデルの各特徴への依存度を正確に定量化できるか？
• RQ4 不確かさの推定を伴うSAGE値を効率的に計算するモデル非依存の方法はあるか？
• RQ5 SAGE値はShapley公理や最適設定における相互情報など直観的・理論的特性と整合するか？

主な発見

• SAGEは特徴重要度をモデルベースの予測力のShapley値として割り当て、総予測力に総和される。
• SAGEは効率性、対称性、ダミー、単調性、および線形性の特性を満たし、 principled なクレジット配分である。
• SAGEは可逆な特徴変換に対して不変であり、特徴空間全体に対するv_fの加法的近似としてSHAPと関連する。
• SAGEのサンプリングベースの近似はナイーブな局所SHAP計算よりはるかに高速で、不確かさの推定を提供する。
• 実証的比較では、SAGEが予測力をより正確に反映しており、置換検定、平均重要度、アブレーションなどのベースラインより優れている。
• SAGEは不完全なモデルにおける破損した特徴を特定し、時間とともにモデルの健全性を監視するのに役立つ。