[論文レビュー] NormLime: A New Feature Importance Metric for Explaining Deep Neural Networks

Isaac Ahern, Adam Noack+4 more|arXiv (Cornell University)|Sep 10, 2019

Explainable Artificial Intelligence (XAI)参考文献 26被引用数 37

ひとこと要約

NormLIME は、局所 LIME の説明を正規化された集約で統合し、深層ネットワークのグローバルおよびクラス別の特徴量重要度を生成する。人間による好みが強く、特徴量のランキングの信頼性も高い。

ABSTRACT

The problem of explaining deep learning models, and model predictions generally, has attracted intensive interest recently. Many successful approaches forgo global approximations in order to provide more faithful local interpretations of the model's behavior. LIME develops multiple interpretable models, each approximating a large neural network on a small region of the data manifold and SP-LIME aggregates the local models to form a global interpretation. Extending this line of research, we propose a simple yet effective method, NormLIME for aggregating local models into global and class-specific interpretations. A human user study strongly favored class-specific interpretations created by NormLIME to other feature importance metrics. Numerical experiments confirm that NormLIME is effective at recognizing important features.

研究の動機と目的

• 深層ニューラルネットワークに対して、局所的な説明をグローバルおよびクラス特異的な解釈へ集約する指標を提供する。
• LIME/SP-LIME を正規化スキームで拡張し、多段階の粒度レベルで解釈性を向上させる。
• 人間の研究と KAR 風評価を通じて、NormLIME が正確で理解しやすい説明をもたらすことを示す。

提案手法

• LIME と同様に、疎な線形モデルを用いてデータ点の周りに局所的な説明を構築する。
• 正規化ベースの重み付け手法で局所的な説明をグローバルな特徴量重要度に集約する（式 3–5）。
• クラスラベルごとに局所的な説明を分割して、クラス特異的な顕在度を得る（式 7–9）。
• MNIST に対する人間の研究で、NormLIME をベースライン（LIME、SmoothGrad、VarGrad）と比較する。
• 生のピクセルおよび畳み込み特徴量で Keep-and-Retrain (KAR) スタイルの実験で説明を評価する。
• 既存のグローバルな説明法（SP-LIME、L2 対 L1 正規化）との理論的関係について論じる。

実験結果

リサーチクエスチョン

• RQ1 NormLIME は、人間の直感と一致するグローバルおよびクラス特異的な説明を生成できるか？
• RQ2 人間の評価で NormLIME はベースラインの特徴量重要度手法を上回るか？
• RQ3 KAR風評価で示されるように、NormLIME の説明はモデルの性能に重要な特徴の忠実な指標となるか？
• RQ4 多クラス設定において正規化はクラス特異的顕在度の質にどのような影響を与えるか？

主な発見

• MNIST の人間研究で、NormLIME は 939 件の投票を獲得し、LIME は 438、VarGrad は 151、SmoothGrad は 132 だった。
• 参加者は、NormLIME のクラス特異的な説明をベースラインより好み、統計的有意性がある（Tukey HSD で p<0.001）。
• KAR風評価では他の手法を上回り、特に畳み込み特徴に対して良い性能を示した。70% の特徴を削除した場合に最高の精度 99.31% を達成。
• NormLIME の説明は、正規化が重要なピクセル間の差異を明らかにするのに役立ち、クラスレベルの解釈の読みやすさを向上させることを示した。
• 評価を通じて、勾配ベースの手法は SHAP、LIME、NormLIME のような局所モデルの加法的手法に遅れ、NormLIME はクラス特異的解釈性で優れていた。