[論文レビュー] Robust Models Are More Interpretable Because Attributions Look Normal

Zifan Wang, Matt Fredrikson+1 more|arXiv (Cornell University)|Mar 20, 2021

Adversarial Robustness in Machine Learning参考文献 48被引用数 6

ひとこと要約

本稿では、局所的意思決定境界の法線ベクトルを活用して、より鋭く集中した説明を生成する境界特徴量割り当て—具体的には境界ベースのサリエンシーマップ（BSM）と境界ベースの統合勾配（BIG）—を提案する。強固なモデルは滑らかな意思決定境界を有するため、勾配と法線ベクトルが一致しやすく、より解釈可能になる。本稿ではBIGが、ベースライン選択への感受性を低減させるとともに特徴の局所化を向上させることで、強固でないモデルに対しても説明品質を向上させることを示している。

ABSTRACT

Recent work has found that adversarially-robust deep networks used for image classification are more interpretable: their feature attributions tend to be sharper, and are more concentrated on the objects associated with the image's ground-truth class. We show that smooth decision boundaries play an important role in this enhanced interpretability, as the model's input gradients around data points will more closely align with boundaries' normal vectors when they are smooth. Thus, because robust models have smoother boundaries, the results of gradient-based attribution methods, like Integrated Gradients and DeepLift, will capture more accurate information about nearby decision boundaries. This understanding of robust interpretability leads to our second contribution: \emph{boundary attributions}, which aggregate information about the normal vectors of local decision boundaries to explain a classification outcome. We show that by leveraging the key factors underpinning robust interpretability, boundary attributions produce sharper, more concentrated visual explanations -- even on non-robust models. Any example implementation can be found at \url{https://github.com/zifanw/boundary}.

研究の動機と目的

• 敵対的ロバストなモデルがより解釈可能な特徴割り当てをもたらす理由を、モデル勾配と意思決定境界法線ベクトルの幾何的関係を分析することで明らかにすること。
• ロバストモデルの解釈可能性の利点を非ロバストモデルへ一般化する境界特徴量割り当て手法を開発すること。
• 近接する意思決定境界からの情報を統合することで、勾配ベースの説明の鋭さ、集中度、正確性を向上させること。
• 統合勾配における固有のベースライン感受性問題を、グローバルベースラインではなく境界射影パスを用いることで軽減すること。
• 局所的意思決定境界の幾何構造をモデル説明の基盤として用いる理論的・実証的根拠を提示すること。

提案手法

• 近い意思決定境界の法線ベクトルに入力勾配を射影することで特徴量割り当てを計算する境界ベースのサリエンシーマップ（BSM）を提案し、閉形式の理論的保証を提供する。
• 最近接する意思決定境界点から入力へ向かう経路に沿って勾配を統合する境界ベースの統合勾配（BIG）を導入し、近接する境界からの情報を集約する。
• モデル出力表面の真の局所的幾何構造の代理として、最も近い意思決定境界の法線ベクトルを用いることで、関連する特徴とより良い一致を実現する。
• 勾配の一致と意思決定境界の滑らかさの関係を形式化し、ロバストモデルが滑らかな境界を有し、勾配とよりよく一致することを示す。
• 非ロバストモデルにBIGを適用し、任意のベースライン入力に依存せず、鋭く集中した特徴量割り当てを生成できることを実証する。
• バウンディングボックス局所化指標を用いた実証的評価により、特徴量割り当てを正例の物体領域と比較し、精度の向上を検証する。

実験結果

リサーチクエスチョン

• RQ1 なぜ敵対的ロバストなモデルにおける特徴量割り当ては、標準モデルよりも解釈可能度が高いのか？
• RQ2 意思決定境界の滑らかさが、モデル勾配と境界法線ベクトルの一致度に与える影響は何か？
• RQ3 局所的意思決定境界幾何構造を捉えることで、非ロバストモデルにおける説明品質を向上させる特徴量割り当て手法を設計可能か？
• RQ4 統合勾配と比較して、境界特徴量割り当てはどれほどベースライン選択への感受性を低減するか？
• RQ5 境界ベースの説明は、既存の特徴量割り当て手法と比較して、関連する特徴の局所化をどれほど向上させられるか？

主な発見

• 滑らかな意思決定境界を有するロバストモデルでは、入力勾配と局所的意思決定境界法線ベクトルの一致度が強く、これが解釈可能性の向上を説明する。
• 境界ベースのサリエンシーマップ（BSM）は、勾配を最も近い境界法線に射影することで理論的根拠を備えた特徴量割り当てを提供し、幾何的整合性を保証する。
• 境界ベースの統合勾配（BIG）は、ロバストモデルおよび非ロバストモデルの両方において、標準的な統合勾配と比較して、より鋭く集中し、ノイズの少ない視覚的説明を生成する。
• BIGは、グローバルベースラインではなく最近接する境界点から経路統合を開始することで、統合勾配の知られている欠陥であるベースライン感受性を顕著に低減する。
• 実証的評価では、BIGが正例のバウンディングボックスと比較して優れた局所化性能を示し、定量的指標において先行する特徴量割り当て手法を上回っている。
• 提案された境界特徴量割り当てフレームワークにより、ロバストモデルの解釈可能性の利点が非ロバストモデルへ一般化され、意思決定境界の局所的幾何構造を活用している。