[論文レビュー] On the overlooked issue of defining explanation objectives for local-surrogate explainers

Rafael Poyiadzi, Xavier Renard+3 more|arXiv (Cornell University)|Jun 10, 2021

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

この論文は、局所的サーチュロゲート説明手法における重要なギャップを特定する。同手法は、個々のモデル予測を説明することを共通の目的としているが、説明の目的が明確でないため、出力が一貫せず、比較也不可能となる。著者らはLIME、KernelSHAP、GSLSなどの手法における近傍構築戦略を分析し、ブラックボックスモデルから抽出される情報が異なっていることが判明し、説明の比較可能性と説明ツールに対するユーザーの信頼を損なう。

ABSTRACT

Local surrogate approaches for explaining machine learning model predictions have appealing properties, such as being model-agnostic and flexible in their modelling. Several methods exist that fit this description and share this goal. However, despite their shared overall procedure, they set out different objectives, extract different information from the black-box, and consequently produce diverse explanations, that are -- in general -- incomparable. In this work we review the similarities and differences amongst multiple methods, with a particular focus on what information they extract from the model, as this has large impact on the output: the explanation. We discuss the implications of the lack of agreement, and clarity, amongst the methods' objectives on the research and practice of explainability.

研究の動機と目的

• 局所的サーチュロゲート説明者間における説明目的の曇りのない明確さの欠如を特定・分析すること。
• 局所的サーチュロゲート手法における異なる近傍戦略が、ブラックボックスモデルからどのように異なる情報を抽出するかを調査すること。
• この曇りの原因が、手法の比較可能性および説明の実用的導入に与える影響を強調すること。
• 説明手法の選定または設計の前に、ユーザー中心の解釈可能性目的を明確にすることを提唱すること。
• 説明の透明性と信頼性を向上させるために、説明研究において形式的で明確な目的を導入するよう呼びかけること。

提案手法

• 論文は、局所的サーチュロゲート説明者における近傍構築の理論的分析を実施し、各手法が説明すべき予測の周囲でインスタンスをどのようにサンプリングし、重み付けするかに焦点を当てる。
• LIME、GSLS、LEAP、KernelSHAPの間で近傍戦略を比較し、サンプリング分布および重み付け方式の違いに注目する。
• 共通の実験設定（Half-Moonsデータセットとニューラルネットワークのブラックボックス）を用いて、各手法が生成する近傍を可視化し、対比する。
• KernelSHAPにおける情報抽出プロセスを形式化し、Shapley値の近似と、特徴量の独立性といった仮定に依存していることを示す。
• LIMEとKernelSHAPの説明をAdultデータセットで評価し、同じ予測に対して相反する特徴量の重要度順位が得られることを示す。
• 現在の手法のヒューリスティック的かつ近似的な性質を批判し、出力が形式的な目的と明確な意味的リンクを持たないことを主張する。

実験結果

リサーチクエスチョン

• RQ1 異なる局所的サーチュロゲート説明者たちは、どのように説明目的を定義しているのか。また、その目的はどれほど透明で一貫しているのか。
• RQ2 さまざまな局所的サーチュロゲート手法は、ブラックボックスモデルからどの具体的な情報を抽出しているのか。その影響は、得られる説明にどのように現れるのか。
• RQ3 LIME や KernelSHAP が、同じ入力とモデルを使用しても、なぜ同じ予測に対して矛盾する説明を生成するのか。
• RQ4 現在の局所的サーチュロゲート手法が、出力の解釈可能性を損なう可能性のある近似や仮定にどれほど依存しているのか。
• RQ5 説明の目的を手法開発の前段階で形式的に定義することで、説明可能AI分野はどのように改善できるか。

主な発見

• 同じブラックボックスモデルと予測ターゲットを使用しても、異なる局所的サーチュロゲート手法は、著しく異なる近傍を生成する。
• LIMEは局所性に基づく重み付けを伴うガウス分布近傍を用いるが、GSLSは最近接の反例点の周囲を一様にサンプリングするため、異なる局所的表現が得られる。
• KernelSHAPはShapley値の近似に依存し、特徴量の独立性や線形性の仮定を前提としているため、特徴量の真の寄与度が歪められる可能性がある。
• 同じ高レベルの目的（予測の説明）を共有しているにもかかわらず、LIMEとKernelSHAPは、Adultデータセットの同じインスタンスに対して相反する特徴量の重要度順位を出力する。
• 形式的かつユーザー主導の説明目的が欠如しているため、出力が比較不能となり、手法の評価や実世界応用における信頼性が損なわれる。
• 現在の局所的サーチュロゲート説明の最先端技術は、「解決策を先に考え、問題を後から定義する」アプローチに陥っており、説明の信頼性と比較可能性を損なっている。