[論文レビュー] On the Robustness of Interpretability Methods

David Alvarez-Melis, Tommi Jaakkola|arXiv (Cornell University)|Jun 21, 2018

Explainable Artificial Intelligence (XAI)参考文献 13被引用数 76

ひとこと要約

この論文は説明のための局所リプシッツ基準の頑健性を定義し、人気の解釈可能性手法（LIME、SHAP、サリエンシー、その他）をデータセットとモデルにわたって評価し、小さな入力摂動の下で広範な不安定性を発見し、説明の頑健性を確保するアプローチについて論じる。

ABSTRACT

We argue that robustness of explanations---i.e., that similar inputs should give rise to similar explanations---is a key desideratum for interpretability. We introduce metrics to quantify robustness and demonstrate that current methods do not perform well according to these metrics. Finally, we propose ways that robustness can be enforced on existing interpretability approaches.

研究の動機と目的

• 小さな入力変化に対して説明が安定であることを求めることにより、解釈可能性の重要な基準として頑健性を動機づける。
• 局所リプシッツ連続性と実用的なサンプルベースの近似を用いて説明の局所的な頑健性を形式化する。
• 多様なデータセットとモデルに LIME、SHAP、Saliency、Gradient*Input、Integrated Gradients、LRP、Occlusion などの複数の解釈可能性手法を評価する。
• 小さな摂動の下で、実世界のモデル（MLP/CNN/ResNet）と単純なデータセットにおける説明の不安定性を示す。
• 既存の手法の頑健性を強制する戦略を議論するか、頑健な解釈可能性アプローチを設計する。

提案手法

• 入力点の周りで局所リプシッツ連続性を定義し、説明の安定性を定量化する。
• 局所頑健性の推定器を2つ提案する： (1) 勾配を用いない近傍ベースの比率で ||f(x)-f(x')||/||x-x'|| を最大化するもので摂動半径 ε を用いる、(2) 固定のテスト集合上の離散的でサンプルベースの版。
• 説明の頑健性定数 L を推定するため、固定の関数評価予算の下でベイズ最適化を用いて評価する。
• 様々なデータセットとモデルで、LIME、SHAP、Saliency、Gradient*Input、Integrated Gradients、Layer-wise Relevance Propagation、Occlusion などの複数の解釈可能性手法を比較する。
• UCIデータセット、Compas、MNIST (CNN)、ImageNet (ResNet) を含む、分類と回帰のタスクの混在を用いる。

実験結果

リサーチクエスチョン

• RQ1 人気のある解釈可能性手法は、モデルの予測を安定させつつ、小さな入力摂動に対して説明を頑健に生成できるか。
• RQ2 局所的な頑健性の観点で、勾配ベースの説明は摂動ベースの方法とどう比較されるか。
• RQ3 データセット、モデルタイプ（ブラックボックス vs. 勾配有り）、入力モダリティ（表形式、数字、自然画像）ごとに頑健性はどのように変化するか。
• RQ4 説明の頑健性は改善または強制できるか、どの戦略が有望に見えるか。
• RQ5 ブラックボックスの説明が与えられた場合、局所的頑健性を信頼性高く定量化できる実用的な推定器は何か。

主な発見

• ほとんどの説明手法は、小さな入力の変化に対して頑健ではなく、特に複雑なモデルに対してそうである。
• モデル非依存の摂動ベースの手法（例：LIME、SHAP）は、勾配ベースの手法より不安定になりがちである。
• MNIST の数字を小さなガウスノイズで摂動すると、予測が変わらなくても説明が大きく異なることがある。
• MNIST の CNN では、局所的近傍で説明が著しく異なり得る worst-case 摂動は局所リプシッツ測度を最大化できる。
• ImageNet の ResNet では、ほとんど同一の摂動画像でも説明が劇的に異なることがあり、予測はほぼ同一である。
• 本論文は、方法間で頑健性を定量化・比較するための枠組みと例（例：L および L 値）を提供する。