[論文レビュー] Fine-Grained Neural Network Explanation by Identifying Input Features with Predictive Information

Yang Zhang, Ashkan Khakzar+4 more|arXiv (Cornell University)|Oct 4, 2021

Explainable Artificial Intelligence (XAI)被引用数 12

ひとこと要約

本稿では、出力との相互情報量を保持する入力ドメインボトルネックを通じて、予測情報を持つ入力特徴を同定することにより、細分化されたニューラルネットワークの説明のための新規手法InputIBAを提案する。従来の手法が潜在特徴の近似に依存するのに対し、InputIBAは深層特徴をガイドとして用い、入力レベルの予測情報の直接計算を実現し、アーキテクチャに依存しない高分解能の帰属割り当てを達成しており、局在化および特徴重要度評価において既存手法を上回る性能を発揮する。

ABSTRACT

One principal approach for illuminating a black-box neural network is feature attribution, i.e. identifying the importance of input features for the network's prediction. The predictive information of features is recently proposed as a proxy for the measure of their importance. So far, the predictive information is only identified for latent features by placing an information bottleneck within the network. We propose a method to identify features with predictive information in the input domain. The method results in fine-grained identification of input features' information and is agnostic to network architecture. The core idea of our method is leveraging a bottleneck on the input that only lets input features associated with predictive latent features pass through. We compare our method with several feature attribution methods using mainstream feature attribution evaluation experiments. The code is publicly available.

研究の動機と目的

• 既存の特徴帰属割り当て手法が、ニューラルネットワークの予測に寄与する入力特徴を正確に同定できないという限界を解消すること。
• IBAのような手法が潜在特徴からの補間と平均化に依存するための粗い粒度と近似の性質を克服すること。
• アーキテクチャの仮定なしに、完全な分解能で入力ドメインにおける予測情報の直接測定を可能にする手法の開発。
• 理論的根拠に基づいた細分化された説明手法を提供し、局在化および特徴重要度評価において既存のベースラインを改善すること。

提案手法

• 本手法は、予測に寄与する潜在特徴と相関する特徴を効果的に通す入力ボトルネックを導入し、入力と潜在表現の対応関係を確立するために生成モデルを用いる。
• 入力ボトルネックは、入力ボトルネックとネットワーク出力の相互情報量を最大化するように最適化される変分的目的関数を用いて定式化される。
• ボトルネックは微分可能マスク推定プロセスを介して学習され、マスクは深層特徴に条件付けられ、予測情報の保持を目的として訓練される。
• 本手法はIBAと同様の情報理論的原則を用いるが、ボトルネックを潜在空間から入力空間に移行させることで、入力レベルの相互情報量の直接計算を可能にする。
• 深層生成モデルを用いて、潜在空間のボトルネックと同一の潜在特徴分布を誘導する入力上のボトルネック変数を推論する。
• 最終的な帰属スコアは、学習された入力マスクから導出され、空間的およびチャネルレベルの完全分解能で各入力特徴の予測情報が表現される。

実験結果

リサーチクエスチョン

• RQ1 潜在特徴の補間に依存せずに、入力ドメインにおける予測情報が直接同定可能か。
• RQ2 深層特徴に誘導された入力レベルのボトルネックは、潜在レベルのボトルネックに比べて、帰属割り当ての正確性と分解能においてどのように差を示すか。
• RQ3 InputIBAは、画像認識および自然言語処理のタスクにおいて、関連する入力特徴をどれほど正確に局在化できるか。
• RQ4 本手法は、アーキテクチャの仮定なしに、さまざまなネットワークアーキテクチャで性能を維持できるか。
• RQ5 ROAR、Sensitivity-N、Insertion-Deletionといった標準評価ベンチマークにおいて、本手法の性能はいかがであるか。

主な発見

• ImageNet分類タスクにおけるボックス局在化評価では、InputIBAは0.476 ± 0.007の最高効果的ヒート比（EHR）を達成し、IBA（0.356 ± 0.005）および他のベースラインを顕著に上回った。
• ROAR評価では、InputIBAは重要な特徴を正しく同定したが、DeepSHAPおよびIntegrated Gradientsは同定に失敗した。これは、特徴重要度検出において優れた性能を示している。
• 入力ドメインのボトルネックを用いるにもかかわらず、InputIBAは、バックプロパゲーションや摂動ヒューリスティクスに依存しないGuided BackpropagationおよびExtremal Perturbationsと同等の局在化性能を示した。
• 本手法は、画像認識（ImageNet）および自然言語処理（IMDB）の両タスクで頑健な性能を示し、畳み込みアーキテクチャに限定されない一般化能力を確認した。
• Sensitivity-NおよびInsertion-Deletionを含む感度ベースの評価でも、InputIBAは優れた性能を示し、特徴寄与度の測定における信頼性を裏付けた。
• パラメータのランダム化に対して本手法の性能は安定しており、モデル重みや学習ダイナミクスのばらつきに起因する誤りなアーティファクトではないことが示された。