[論文レビュー] Comparing Baseline Shapley and Integrated Gradients for Local Explanation: Some Additional Insights

Tianshu Feng, Zhipu Zhou+2 more|arXiv (Cornell University)|Aug 12, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

この論文は、表形式データにおける局所的モデル解釈の分野で、ベースライン・シャープレーと統合勾配を比較し、それらの理論的および実験的挙動を分析している。両手法は特定の条件下（例えば線形モデル、対称的な特徴量相互作用）では一致するが、非線形設定、特にReLU活性化関数を用いたニューラルネットワークでは、ベースライン・シャープレーが公理的基盤に裏打ちされたため、より一貫した帰属割り当てを示す傾向にあることが示された。

ABSTRACT

There are many different methods in the literature for local explanation of machine learning results. However, the methods differ in their approaches and often do not provide same explanations. In this paper, we consider two recent methods: Integrated Gradients (Sundararajan, Taly, & Yan, 2017) and Baseline Shapley (Sundararajan and Najmi, 2020). The original authors have already studied the axiomatic properties of the two methods and provided some comparisons. Our work provides some additional insights on their comparative behavior for tabular data. We discuss common situations where the two provide identical explanations and where they differ. We also use simulation studies to examine the differences when neural networks with ReLU activation function is used to fit the models.

研究の動機と目的

• 表形式機械学習モデルにおける局所的解釈の分野で、ベースライン・シャープレーと統合勾度の挙動を分析・比較すること。
• 両手法が同一または異なる帰属割り当てを生じる理論的および実験的条件を特定すること。
• ReLU活性化関数を用いた深層ニューラルネットワークに適用した際の、両手法の性能および一貫性を評価すること。
• 従来の公理的比較を超えて、実世界のモデル解釈における実用的インサイトを提供すること。

提案手法

• 著者は、ベースライン・シャープレーと統合勾度の数学的定式化を分析し、それらの背後にある公理および経路に基づく統合に焦点を当てる。
• 両手法が同一の感度スコアを生じる条件を導出し、特に線形モデルおよび対称的な特徴量相互作用の状況を重点的に検討する。
• 合成表形式データセットを用いた、ReLU活性化関数を内蔵するフィードフォワードニューラルネットワークを用いたシミュレーション実験を実施する。
• 複数の入力サンプルに対して感度帰属割り当てを計算し、一貫性および乖離を評価する。
• 理論的導出と制御されたモデルアーキテクチャを用いた実験的検証を組み合わせた分析を実施する。
• 両手法の公理的性質、特に効率性と対称性に根ざした比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 表形式データにおいて、ベースライン・シャープレーと統合勾度が同一の局所的帰属割り当てを生じる条件は何か？
• RQ2 ReLU活性化関数を用いた非線形モデルに適用した際、両手法の帰属割り当てパターンはどのように異なるか？
• RQ3 ベースライン・シャープレーの公理的性質が、複雑なモデルにおける解釈性を統合勾度よりもどのように向上させるか？
• RQ4 ニューラルネットワークの構造的・アーキテクチャ的要因として、一方の解釈手法を他方よりも系統的に優遇する要因は存在するか？

主な発見

• モデルが線形であるか、特徴量相互作用が対称的でベースラインが中立的な場合、ベースライン・シャープレーと統合勾度は同一の帰属割り当てを生じる。
• ReLU活性化関数を用いた非線形設定では、両手法の帰属割り当てパターンが顕著に乖離し、特に非線形性が強い特徴量において顕著である。
• シミュレーション研究では、統合勾度は特定の経路選択によっては効率性公理を破る可能性がある一方、ベースライン・シャープレーは常に効率性公理を満たしており、モデル出力とベースラインの差分に帰属割り当ての合計が一致する。
• シミュレーション研究では、ベースラインから入力への経路がデータ分布を代表していなければ、統合勾度が不安定な帰属割り当てを生じることが示された。
• ベースライン・シャープレーは、非線形モデル、特に高次元の表形式データにおいて、入力摂動および経路選択に対してより高いロバスト性を示した。
• 非線形性が強く、他の特徤量と強く相互作用する特徴量において、両手法の乖離が最も顕著であり、この場合、統合勾度は重要度を誤って割り当てる可能性がある。