[論文レビュー] Latent SHAP: Toward Practical Human-Interpretable Explanations

Ron Bitton, Alon Malach+6 more|arXiv (Cornell University)|Nov 27, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

Latent SHAP は、入力特徴量から解釈可能な概念への完全な可逆変換を必要とせずに、複雑なモデルの局所的に忠実で人間が理解可能な説明を生成するモデルに依存しないフレームワークを提示する。人間が理解できる特徴量の潜在空間を活用し、この空間でシャープリー値を近似することで、直接的な可逆性が不可能な場合でも直感的で高水準の説明が可能になる。顔の魅力の分類タスクにおいて、標準的な SHAP よりも解釈性が優れている。

ABSTRACT

Model agnostic feature attribution algorithms (such as SHAP and LIME) are ubiquitous techniques for explaining the decisions of complex classification models, such as deep neural networks. However, since complex classification models produce superior performance when trained on low-level (or encoded) features, in many cases, the explanations generated by these algorithms are neither interpretable nor usable by humans. Methods proposed in recent studies that support the generation of human-interpretable explanations are impractical, because they require a fully invertible transformation function that maps the model's input features to the human-interpretable features. In this work, we introduce Latent SHAP, a black-box feature attribution framework that provides human-interpretable explanations, without the requirement for a fully invertible transformation function. We demonstrate Latent SHAP's effectiveness using (1) a controlled experiment where invertible transformation functions are available, which enables robust quantitative evaluation of our method, and (2) celebrity attractiveness classification (using the CelebA dataset) where invertible transformation functions are not available, which enables thorough qualitative evaluation of our method.

研究の動機と目的

• SHAP や LIME などの既存のモデルに依存しない説明手法が、人間が理解しにくい低レベルの入力特徴量やエンコードされた特徴量に基づいて説明を生成するという限界を解消すること。
• 入力特徴量からこれらの概念への完全な可逆マッピングを必要とせずに、高水準で人間が理解できる特徴量（例：「笑顔」「イヤリングを着用」）に基づいた説明を生成するフレームワークを開発すること。
• 実用的でない場合が多い可逆変換が不可能な現実世界のシナリオにおいても、元のモデルの挙動に忠実でありながら、解釈性を向上させること。
• 可逆変換を用いた定量的評価と、非可逆設定での定性的評価の両方を、有名人の魅力分類タスクにおいて実施すること。

提案手法

• フレームワークはブラックボックス方式で動作し、事前学習済みモデルと別個の人間が理解可能な特徴抽出器を用いて、入力を高水準の概念の潜在空間にマッピングする。
• 解釈可能な潜在空間における特徴量の寄与度を計算するために、背景データセットを用いてシャープリー値を効率的に近似する SHAP アルゴリズムの変種を適用する。
• 入力特徴量から解釈可能な特徴量への変換が可逆である必要がないため、このようなマッピングが曖昧または不可能な状況でも利用可能である。
• 各解釈可能な特徴量の期待寄与度を推定するために、背景データセットのサンプルを用い、摂動に基づく近似により局所的説明を可能にする。
• 局所的およびグローバルな説明生成をサポートし、インスタンスごとの特徴量の重要度スコアを可視化し、データセット全体で集約する。
• 入力画像から得られる分離可能で人間が読み取り可能な特徴量（例：「くっきりした眉」「高い頬骨」）を定義することで、概念ベースの説明を統合する。

実験結果

リサーチクエスチョン

• RQ1 入力特徴量から解釈可能な特徴量への変換が可逆でない場合でも、Latent SHAP は人間が理解可能な説明を、局所的に忠実かつ直感的につくることができるか？
• RQ2 実世界の画像分類タスクにおいて、Latent SHAP の説明は、標準的な SHAP と比較して、解釈性および意味の有無において優れているか？
• RQ3 Latent SHAP のグローバル特徴量寄与度は、人間が理解できる特徴量とモデルの予測との間の真の相関関係とどの程度一致するか？
• RQ4 近似に使用する背景データセットのサイズは、説明の感度にどの程度影響を与えるか？

主な発見

• 可逆変換を用いた制御実験では、Latent SHAP の説明は標準的な SHAP よりも定性的に直感的であり、ユーザーが「笑顔」や「イヤリングを着用」のような高水準の特徴量をより簡単に特定できた。
• CelebA データセットでは、Latent SHAP は魅力的な顔と魅力的でない顔を明確に区別する説明を生成し、魅力的な顔では「笑顔」などの少数の重要な特徴量に高い正の重要度を割り当て、魅力的でない顔では多くの特徴量に低いか負の重要度を割り当てた。
• Latent SHAP のグローバル特徴量寄与度は真の相関関係とよく一致した：例えば、「濃いメイク」は高値の場合は高い正の寄与度を示し、低値の場合は低い寄与度を示し、魅力との既知の相関関係を反映していた。
• 魅力と逆相関する「男性特徴」は、Latent SHAP によって正しく負の寄与度が割り当てられ、モデル挙動への忠実性が確認された。
• 背景データセットのサイズは特徴量の重要度に顕著な影響を与えた：例えば、「高い頬骨」は背景サイズが 50 から 150 に増加した際、重要度が -0.04 で上位 7 位から上位 9 位外にまで低下した。
• 従来の SHAP がピクセルレベルの説明に意味のないため失敗する非可逆設定でも、Latent SHAP は解釈性と頑健性を示した。