[論文レビュー] Certifiably Robust Interpretation in Deep Learning

Alexander Levine, Sahil Singla+1 more|arXiv (Cornell University)|May 28, 2019

Adversarial Robustness in Machine Learning参考文献 38被引用数 19

ひとこと要約

本稿では、スパース化されたSmoothGradの変種を用いて、深層学習の解釈手法を形式的かつ証明可能に頑健化する手法を提案する。この手法は、入力のランダムな摂動に対して勾配を平均化しつつ、スパarsityを強制する。本手法は、サリエンシーマップに対する adversarial 攻撃に対して理論的な頑健性の証明を確立し、摂動下でも信頼性の高い解釈を維持できることを示している。ImageNet および CIFAR-10 データセット上での実験的検証により、標準的な勾配法および SmoothGrad 法と比較して優れた頑健性を示している。

ABSTRACT

Deep learning interpretation is essential to explain the reasoning behind model predictions. Understanding the robustness of interpretation methods is important especially in sensitive domains such as medical applications since interpretation results are often used in downstream tasks. Although gradient-based saliency maps are popular methods for deep learning interpretation, recent works show that they can be vulnerable to adversarial attacks. In this paper, we address this problem and provide a certifiable defense method for deep learning interpretation. We show that a sparsified version of the popular SmoothGrad method, which computes the average saliency maps over random perturbations of the input, is certifiably robust against adversarial perturbations. We obtain this result by extending recent bounds for certifiably robust smooth classifiers to the interpretation setting. Experiments on ImageNet samples validate our theory.

研究の動機と目的

• 医療や自律走行システムなどの高リスク分野において、勾配ベースのサリエンシーマップが adversarial 摂動に対して脆弱であるという問題に対処すること。
• 分類ラベルのためのものではなく、解釈出力自体に対して形式的かつ証明可能な頑健性を提供する手法の開発。
• 従来、分類の分野で使われてきた形式的頑健性を持つスムージング技術を、特にサリエンシーマップの解釈設定に拡張すること。
• 分類のための標準的な adversarial 訓練では、解釈出力の頑健性が得られないことの証明を行い、解釈の分野に特化した新たな防御手法の必要性を示すこと。
• adversarial 入力摂動下でも解釈の整合性を保ちつつ、理論的性能保証を伴う実用的かつスケーラブルな手法の提供。

提案手法

• 入力のランダムな摂動の下での期待勾配としてサリエンシーマップを計算するが、スパarsityを緩和された top-k 選択により強制するスパース化された SmoothGrad の変種を提案する。
• スムージング関数を $\bar{\mathbf{g}}(\mathbf{x}) = \mathbb{E}[\mathbf{g}(\mathbf{x} + \epsilon)]$ として定義し、$\epsilon \sim \mathcal{N}(0, \sigma^2\mathbf{I})$ とする。温度制御された緩和を用いてスパarsityを適用する。
• 分類の分野で得られた形式的頑健性スムージングの境界を拡張することで、解釈設定に適応した理論的頑健性証明を導出。これにより、有界な摂動下でもサリエンシーマップの構造が安定することが保証される。
• 元のサリエンシーマップと摂動後のサリエンシーマップの類似度を測るための top-K オーバーラップ指標 $R(\mathbf{x}, \tilde{\mathbf{x}}, K)$ を用いて、頑健性を実験的に評価する。
• CIFAR-10 および ImageNet で ResNet-18 モデルに本手法を適用し、$L_2$-ノルムの adversarial 攻撃を用いて摂動下での頑健性をテストする。
• 理論的境界と実験的評価の両方を用いて本手法を検証し、ベースラインの SmoothGrad およびスケーリング済み SmoothGrad の変種と比較する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースのサリエンシーマップは、形式的保証のもとで adversarial 摂動に対して頑健化可能か？
• RQ2 分類のための標準的な adversarial 訓練は、解釈出力の頑健性に効果をもたらすか？
• RQ3 形式的頑健性を持つスムージングの理論的枠組みは、サリエンシーマップの解釈設定に適応可能か？
• RQ4 SmoothGrad のスパース化は、解釈マップの頑健性と忠実度にどのように影響するか？
• RQ5 本手法の実験的性能は、adversarial 攻撃下で既存の解釈手法と比較してどうなるか？

主な発見

• ImageNet サンプルにおいて、スパース化された SmoothGrad はベースラインの SmoothGrad やスケーリング済み SmoothGrad よりも顕著に高い頑健性証明値を達成しており、$q=8192$ 個の摂動に対して中央値が 0.5 を超える。
• 実験的評価では、スパース化された SmoothGrad は $L_2$ adversarial 攻撃（標準偏差の 0.5 倍）に対しても、サリエンシーマップ領域の top-K オーバーラップが 0.6 を超えて維持され、標準勾配法および SmoothGrad を上回る性能を示した。
• 本手法は、分類のための標準的な adversarial 訓練では解釈の頑健性が向上しないことを示しており、サリエンシーマップは微小な摂動に対しても非常に感受性を示すことが判明した。
• スケーリング済み SmoothGrad および 2次スムージングの理論的境界は空虚であるが、本手法のスパース化されたバージョンは非空虚で意味のある頑健性証明を提供した。
• Lecuyer et al. (2018) との比較により、本手法から得られる頑健性証明は、従来の分類の頑健性境界の単純な適用よりもきめ細やかで情報量が多く、よりタイトであることが示された。
• CIFAR-10 の実験では、$T=5$ 回の反復で $L_2$ 攻撃下でもスパース化された SmoothGrad は高い解釈の忠実度を維持し、144 個のテストサンプルで安定した性能と狭い信頼区間を達成した。