[論文レビュー] Towards Aggregating Weighted Feature Attributions

Umang Bhatt, Pradeep Ravikumar+1 more|arXiv (Cornell University)|Jan 20, 2019

Explainable Artificial Intelligence (XAI)参考文献 8被引用数 9

ひとこと要約

本稿では、訓練インスタンス across で局所的説明を統合することにより、グローバルで重み付きの特徴帰属を生成する、新たな手法AVA（Antecedentsの集積的評価）を紹介する。この手法は、先行事象の影響と帰属値の両方を統合することで、局所的特徴の重要性とグローバルなパターンを捉え、モデルの解釈性を向上させる。実験により、多様なデータセットにおいてモデルの予測を説明する能力が優れていることが示された。

ABSTRACT

Current approaches for explaining machine learning models fall into two distinct classes: antecedent event influence and value attribution. The former leverages training instances to describe how much influence a training point exerts on a test point, while the latter attempts to attribute value to the features most pertinent to a given prediction. In this work, we discuss an algorithm, AVA: Aggregate Valuation of Antecedents, that fuses these two explanation classes to form a new approach to feature attribution that not only retrieves local explanations but also captures global patterns learned by a model. Our experimentation convincingly favors weighting and aggregating feature attributions via AVA.

研究の動機と目的

• 局所的特徴帰属とグローバルなモデル解釈の間のギャップを埋めるために、先行要因の影響と帰属値の両方の手法を組み合わせること。
• 局所的説明の正確性とグローバルな構造的パターンの両方を捉える統一されたフレームワークを構築すること。
• 学習インスタンス across で特徴帰属を重み付きで集約することで、機械学習モデルの解釈性を向上させること。
• 重み付き集約が、従来の手法よりもより強固で一般化可能な説明を生み出すかを評価すること。
• モデルの予測に忠実でありながら、下位のデータパターンを明らかにする、スケーラブルで原理的根拠のある特徴帰属のアプローチを提供すること。

提案手法

• AVAは、特定のテスト予測に影響を与える訓練インスタンスの局所的帰属を統合することで、特徴帰属を定式化する。
• 各訓練インスタンスがテストポイントに与える影響に基づいて重みが割り当てられる重み付き集約方式を導入する。
• 各訓練点がテスト予測に与える影響を推定するため、カーネルベースの影響関数を用い、これが集約の重みとして機能する。
• 各訓練インスタンスに対して勾配ベースの手法（例：サリエンシーマップ）を用いて特徴帰属を計算し、その後影響重みを用いて統合する。
• 最終的な帰属ベクトルは、個々のインスタンス帰属の重み付き和であり、重みはモデルの予測行動から導出される。
• 影響関数と勾配ベースの説明技術を活用することで、深層ニューラルネットワークやその他のブラックボックスモデルに対してもスケーラブルかつ適用可能である。

実験結果

リサーチクエスチョン

• RQ1 先行要因の影響と帰属値の両方を統合することで、特徴帰属の質と一般化能が向上するか？
• RQ2 局所的帰属の重み付き集約は、モデルの説明の解釈性と正確性にどのように影響するか？
• RQ3 AVAは、局所的説明の正確性を保ちながら、特徴重要度のグローバルなパターンをどの程度捉えられるか？
• RQ4 異なるデータセットにおいて、AVAは従来の帰属手法と比較して、どの程度の強度と一貫性を示すか？
• RQ5 影響重み付けが、集約された特徴帰属の安定性と解釈性に与える影響は何か？

主な発見

• AVAは、局所的およびグローバルな情報を統合することで、より一貫性があり信頼性の高い説明を生み出すことで、特徴帰属の質を顕著に向上させる。
• 画像および表形式データを含む複数のデータセットにおいて、ベースライン帰属手法を上回り、意味のある特徴パターンを捉える能力を示した。
• 影響関数による重み付き集約は、重みなしまたはヒューリスティックな集約手法と比較して、より安定で強固な帰属をもたらす。
• 実験により、AVAは局所的のみの手法が見逃す、クラス固有の特徴依存関係などのグローバルなデータ構造を効果的に明らかにしている。
• AVAは、テストインスタンスにおける実際のモデル行動と密接に一致する高い忠実度を維持しており、帰属がモデルの予測に忠実であることが確認された。
• AVAは、多様なアーキテクチャやデータタイプに対し、解釈可能なモデル意思決定分析を可能にし、ベンチマーク全体にわたる強力な一般化能を示した。