[論文レビュー] Learning to Estimate Shapley Values with Vision Transformers

Ian Covert, Chanwoo Kim+1 more|arXiv (Cornell University)|Jun 10, 2022

Explainable Artificial Intelligence (XAI)被引用数 12

ひとこと要約

この論文では、ビジョントランスフォーマー（ViTs）に基づく学習可能な説明モデルを提案し、視覚モデルのシャープレー値を計算的に非効率であるための正確なシャープレー値推定を、効率的かつ正確に行う。正確なシャープレー計算の計算的非可能性を克服する。新しい損失関数を用いて、教師データが不要な状態で推定誤差を制限するように、ViTを訓練することで、100倍速く、KernelSHAP よりも優れた性能を達成。複数のデータセットで、アテンションベース、勾配ベース、削除ベースの手法を上回る高精度な説明を実現。

ABSTRACT

Transformers have become a default architecture in computer vision, but understanding what drives their predictions remains a challenging problem. Current explanation approaches rely on attention values or input gradients, but these provide a limited view of a model's dependencies. Shapley values offer a theoretically sound alternative, but their computational cost makes them impractical for large, high-dimensional models. In this work, we aim to make Shapley values practical for vision transformers (ViTs). To do so, we first leverage an attention masking approach to evaluate ViTs with partial information, and we then develop a procedure to generate Shapley value explanations via a separate, learned explainer model. Our experiments compare Shapley values to many baseline methods (e.g., attention rollout, GradCAM, LRP), and we find that our approach provides more accurate explanations than existing methods for ViTs.

研究の動機と目的

• ビジョントランスフォーマー（ViTs）に対してシャープレー値を実用的に行うため、指数的複雑性のため計算的に非現実的であることを克服する。
• アテンションマスキングを用いて、ViTsが欠損入力パッチをどのように処理するかを調査し、部分入力に対して堅牢であることを保証する。
• 特化したトレーニング損失関数を用いて、学習可能な説明モデルを構築し、シャープレー値を効率的かつ正確に推定する。
• アテンションベース、勾配ベース、削除ベースの説明手法と比較し、忠実度と正確性の観点から提案手法の性能を評価する。
• シャープレー値が、ViTsにおけるアテンションや勾配よりも、モデル挙動のより信頼性が高く一貫性のある説明を提供することを検証する。

提案手法

• 推論中に欠損画像パッチを模倣するために、アテンションマスキング戦略を用いることで、部分入力を処理できるようにViTを設計する。
• 教師データが不要な新しい損失関数を用いて、別個に微調整されたViT説明モデルをトレーニングする。この損失関数は、シャープレー値推定誤差を最小化することを目的としている。
• 損失関数は理論的根拠を持ち、推定誤差を制限することで、トレーニング中に正確なシャープレー値への収束を保証する。
• 説明モデルは1回の順方向プロパゲーションで完全なシャープレー値説明を生成し、KernelSHAPのようなサンプリングベースの手法に比べて顕著な高速化を実現する。
• ViTsのインダクティブバイアスを活用し、画像パッチ間の複雑な特徴相互作用や依存関係をモデル化する。
• 説明は、分離カラーマップ（icefire）を用いて可視化され、画像パッチの正負の寄与度を強調表示する。

実験結果

リサーチクエスチョン

• RQ1 アテンションマスキングを用いて、ビジョントランスフォーマーが部分入力パッチを効果的に処理できるか、シャープレー値の計算が可能になるか。
• RQ2 教師データが不要な状態で、学習可能なViT説明モデルが、高精度かつ低計算コストでシャープレー値を推定できるか。
• RQ3 アテンションベース、勾配ベース、削除ベースの手法と比較して、異なる画像クラスやデータセットにおいて、シャープレー値説明の忠実度と一貫性はどのように異なるか。
• RQ4 シャープレー値説明は、ターゲットクラスおよび非ターゲットクラスの両方において、影響力のあるパッチと影響力のないパッチを正しく特定できるか。
• RQ5 提案手法は、他の手法が見逃す可能性のあるモデルの交絡要因（例：背景特徴）を明らかにできるか。

主な発見

• 提案されたViTシャープレー説明モデルは、KernelSHAPとほぼ同等の説明品質を達成しており、推定値の95％信頼区間が重複している。
• ViTシャープレーは、1枚の画像あたり1回の順方向プロパゲーションで十分であり、KernelSHAPに比べて最大100倍高速に説明を生成する。
• ImageNetteでは、ViTシャープレーはすべてのベースライン（例：アテンションロールアウト、GradCAM、LRP）を上回り、ターゲットおよび非ターゲットクラスの関連・不関連パッチを正しく特定している。
• MURAでは、ViTシャープレーが異常兆候を一貫して強調表示し、病変関連特徴を検出する点でLRPや他のベースラインを上回っている。
• Petsでは、ViTシャープレーが品種特有の特徴（例：口の形、毛の模様）を正確に捉えており、他の手法とは異なり背景への注目を最小限に抑えている。
• 非ターゲットクラスの説明において、ViTシャープレーはモデルを誤って誘導する可能性のある背景特徴（例：芝、空、金属）を正しく特定しており、他の手法が見逃すモデルの交絡要因を明らかにしている。