[論文レビュー] Which Explanation Should I Choose? A Function Approximation Perspective to Characterizing Post Hoc Explanations

Tessa Han, Suraj Srinivas+1 more|arXiv (Cornell University)|Jun 2, 2022

Explainable Artificial Intelligence (XAI)被引用数 28

ひとこと要約

本論文は eight popular post hoc explanation methods を局所関数近似フレームワークの下で統一し、説明のノーフリーランチ定理を証明し、ブラックボックスモデルへの忠実度に基づく方法選択の原則的ガイドラインを提供する。

ABSTRACT

A critical problem in the field of post hoc explainability is the lack of a common foundational goal among methods. For example, some methods are motivated by function approximation, some by game theoretic notions, and some by obtaining clean visualizations. This fragmentation of goals causes not only an inconsistent conceptual understanding of explanations but also the practical challenge of not knowing which method to use when. In this work, we begin to address these challenges by unifying eight popular post hoc explanation methods (LIME, C-LIME, KernelSHAP, Occlusion, Vanilla Gradients, Gradients x Input, SmoothGrad, and Integrated Gradients). We show that these methods all perform local function approximation of the black-box model, differing only in the neighbourhood and loss function used to perform the approximation. This unification enables us to (1) state a no free lunch theorem for explanation methods, demonstrating that no method can perform optimally across all neighbourhoods, and (2) provide a guiding principle to choose among methods based on faithfulness to the black-box model. We empirically validate these theoretical results using various real-world datasets, model classes, and prediction tasks. By bringing diverse explanation methods into a common framework, this work (1) advances the conceptual understanding of these methods, revealing their shared local function approximation objective, properties, and relation to one another, and (2) guides the use of these methods in practice, providing a principled approach to choose among methods and paving the way for the creation of new ones.

研究の動機と目的

• ポストホック説明間で共通の基盤の必要性を動機づける。
• 多様な手法を包含する局所関数近近フレームワークを形式化する。
• 説明のノーフリーランチ定理を確立し、指針となる選択原理を導出する。
• 実世界のデータセットとモデルを用いて理論的主張を実証的に検証する。

提案手法

• 局所代理としてポストホック説明を統一するために、局所関数近似（LFA）を定義する。
• LIME, C-LIME, KernelSHAP, Occlusion, Vanilla Gradients, Gradient x Input, SmoothGrad, Integrated Gradients が異なる近傍と losses を用いて LFA に写像されることを示す。
• 勾配整合損失を導入し、勾配に基づく手法をLFAと結びつけ、特定のノイズモデル下で既存手法との同値性を証明する。
• 説明手法に対するノーフリーランチ定理を証明し、すべての近傍で最適な手法は存在しないことを示す。
• ブラックボックスモデルが解釈可能クラスに属する場合に、忠実度に基づいて手法を選択するためのモデル回復の指針を提案する。
• 4つの LFA コンポーネント（G, Z, l, ⊕）を設定することによって新たな説明を設計するための設計指針を提供する。

実験結果

リサーチクエスチョン

• RQ1 eight popular explanation methods は共通の局所関数近似目的を共有しているか。
• RQ2 どのような条件下で説明手法はブラックボックスモデルを再現できるのか、そして説明に対するノーフリーランチが存在するのか。
• RQ3 実務者はモデルへの忠実度と選択された近傍に基づいてどのように説明を選択すべきか。
• RQ4 LFA フレームワークは新規・文脈依存の説明設計を導くことができるか。

主な発見

• すべての eight methods は近傍と損失関数の違いを有する局所関数近似を行う。
• 説明のノーフリーランチ定理が存在する：すべての近傍において単一の手法が最適とは限らない。
• モデル回復の指針となる原理を提案：説明はブラックボックスモデルが解釈可能クラスに属するときそれを再現する場合に忠実である。
• 実証結果として、加法的連続ノイズ法は連続領域で真のモデルを回復することと一致する一方、乗法的ノイズ法は勾配スケールされた形を回復する場合がある。
• このフレームワークは手法が既存のアプローチとどのように一致するか、また LFA コンポーネントを変えることで新しい説明を設計する方法を説明する。