[論文レビュー] Generalized Integrated Gradients: A practical method for explaining diverse ensembles

John Merrill, Geoff Ward+3 more|arXiv (Cornell University)|Sep 4, 2019

Explainable Artificial Intelligence (XAI)参考文献 14被引用数 9

ひとこと要約

この論文は、測度論的経路積分を用いて、ニューラルネットワークと木構造モデルの組み合わせなど、混合型モデルを扱えるように、Integrated Gradientsを拡張した、一般化統合勾配（GIG）という、画期的な公理的手法を紹介する。GIGは任意の仮定を必要とせず、一意的かつ決定論的に特徴量の寄与度を割り当てる。さまざまなモデルアーキテクチャにおいて、既存の手法を上回る精度と一貫性を示す。

ABSTRACT

We introduce Generalized Integrated Gradients (GIG), a formal extension of the Integrated Gradients (IG) (Sundararajan et al., 2017) method for attributing credit to the input variables of a predictive model. GIG improves IG by explaining a broader variety of functions that arise from practical applications of ML in domains like financial services. GIG is constructed to overcome limitations of Shapley (1953) and Aumann-Shapley (1974), and has desirable properties when compared to other approaches. We prove GIG is the only correct method, under a small set of reasonable axioms, for providing explanations for mixed-type models or games. We describe the implementation, and present results of experiments on several datasets and systems of models.

研究の動機と目的

• 金融や医療などハイリスク分野において、多様な機械学習アンサンブルを一貫して説明できる一般化された方法の欠如に応えること。
• シャープレー値や統合勾度のような既存手法が、任意の持ち上げや現実的でない独立性仮定に依存しているという限界を克服すること。
• 公理とモデル関数によって完全に決定される信用配分フレームワークを構築し、混合型モデルにおいて一意性と正しさを保証すること。
• 統一的に連続関数、区分的定数関数、不連続関数を扱える、実用的で計算可能な方法として、統合勾度を一般化すること。

提案手法

• GIGは測度論を用いて、入力空間のLebesgue分解に沿った経路積分を定義し、連続的経路と超平面に沿った不連続性を統合的に扱う。
• 特徴量の不連続性の周囲の直交象限に基づく幾何的分解を用い、シャープレー値が要請する任意の組み合わせ的持ち上げを回避する。
• 線形性、ノルム変数への感受性なし、対称性の3つの公理に基づく一意な解に依存し、一意性を保証する。
• 関数代数とボレル測度の形式的枠組みを用い、一般化された位置モデルを含む混合型モデルへの信用配分を一般化する。
• アルゴリズムは、Lebesgue測度とモデル内の不連続性が誘導する直交ボレル測度に沿った経路に沿って統合することで、寄与度を計算する。
• 神経ネットワークと意思決定木のアンサンブルのような混合型関数のすべてに、特徴量の信用を正しく割り当てる唯一の方法であり、特徴量の独立性は必要としない。

実験結果

リサーチクエスチョン

• RQ1 連続的および不連続的成分を併せ持つ多様で混合型の機械学習モデルを一貫して説明できる、任意の仮定や組み合わせ的持ち上げに依存しない、単一の公理的信用配分手法を開発できるか？
• RQ2 線形性、対称性、ノルム変数への感受性なしという重要な公理を満たす一意な手法が、連続的および不連続的成分を併せ持つモデルにおいて信用を割り当てられるか？
• RQ3 統合勾度を形式的に一般化することで、木アンサンブルのような区分的定数挙動を示すモデルを扱えるか？ その際、正確性と一貫性を保てるか？
• RQ4 経路積分の測度論的定式化により、DeepSHAP や TreeExplainer よりもより強固で一般化された説明手法が可能になるか？
• RQ5 公理とモデル関数によって完全に決定され、自由パラメータや任意の選択を排除した手法を構築できるか？

主な発見

• GIGは、線形性、対称性、ノルム変数への感受性なしという核心的公理を満たし、モデル関数と入力データによって完全に決定され、自由パラメータのない唯一の手法である。
• GIGは、ニューラルネットワークと木構造モデルの組み合わせのような混合型モデルに対して、一意的かつ正確に特徴量の寄与度を割り当てる。既存手法は独立性仮定や任意の持ち上げに起因して、これに失敗する。
• シャープレーに基づく手法とは異なり、GIGは高次元空間への組み合わせ的持ち上げを回避するため、曖昧性がなく、さまざまなモデル表現間で一貫性を保証する。
• GIGは、モデルがマージン空間にない場合や特徴量が依存している場合にも、DeepSHAP や TreeExplainer を上回る精度と汎用性を示す。
• GIGは、不連続および混合モデルへの統合勾度の拡張を可能にする、厳密な測度論的基盤を提供する。これにより、現実世界の機械学習システムの正確な説明が可能になる。
• 複数のデータセットにおける実験的結果から、GIGは多様なモデルアーキテクチャとデータタイプにわたり、一貫性があり、信頼性が高く、解釈可能な寄与度を提供することが確認された。