[論文レビュー] Saliency Methods for Explaining Adversarial Attacks

Jindong Gu, Volker Tresp|arXiv (Cornell University)|Aug 22, 2019

Adversarial Robustness in Machine Learning参考文献 24被引用数 21

ひとこと要約

本稿は、先行研究が無関係であると主張したにもかかわらず、ガイドドバックプロパゲーション（GuidedBP）のsalienceマップにクラス判別情報が含まれることを特定し、その信号を強化するための改良手法を提案する。この改良されたGuidedBPは、クラス間でsalienceマップを正規化することで、判別的信号を強調する。改良されたGuidedBPは、誤分類の原因となる特徴を明確に可視化することで、敵対的誤分類の説明において最先端の性能を達成し、定性的および定量的評価の両面で既存手法を上回る。

ABSTRACT

The classification decisions of neural networks can be misled by small imperceptible perturbations. This work aims to explain the misled classifications using saliency methods. The idea behind saliency methods is to explain the classification decisions of neural networks by creating so-called saliency maps. Unfortunately, a number of recent publications have shown that many of the proposed saliency methods do not provide insightful explanations. A prominent example is Guided Backpropagation (GuidedBP), which simply performs (partial) image recovery. However, our numerical analysis shows the saliency maps created by GuidedBP do indeed contain class-discriminative information. We propose a simple and efficient way to enhance the saliency maps. The proposed enhanced GuidedBP shows the state-of-the-art performance to explain adversary classifications.

研究の動機と目的

• 深層ニューラルネットワークにおける敵対的誤分類の信頼性のある説明手法の欠如に取り組む。
• ガイドドバックプロパゲーションが非判別的であるという主張に反論し、正規化されていない勾配に隠れたクラス判別的情報の存在を示す。
• 敵対的予測の説明能力を向上させるために、シンプルで効率的なGuidedBPの改良手法を開発する。
• 強化されたsalienceマップが敵対的誤分類の原因となる特徴を特定する有効性を評価する。
• salienceに基づく摂動が、敵対的例においてモデルの性能を部分的に回復させられることを示す。

提案手法

• 本手法は、標準的な正規化がクラス間のsalience値の範囲を均等化することで、GuidedBPマップ内のクラス判別的情報が隠蔽されていることに着目する。
• すべてのクラスの平均活性に基づいてsalience値を相対的に計算する正規化方式を提案し、クラス間の差を保持する。
• 強化されたsalienceマップは $ \boldsymbol{s}^{m} = \frac{ \text{grad}_{\boldsymbol{x}} f^{m} }{ \text{mean}_{k} ( \text{grad}_{\boldsymbol{x}} f^{k} ) } $ で定義され、ReLUフィルタリングを伴うバックプロパゲーションにより勾配が計算される。
• 正規化の前段階でクラス間のsalience値を比較することで、判別的特徴を強化し、関連性の差が保持されるようにする。
• モデルの注目が摂動によってどのように変化するかを分析するために、クリーン画像および敵対的画像に本手法を適用する。
• C&W攻撃からの敵対的例を用いて、定性的な可視化と定量的指標による評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 先行研究が無関係であると主張したにもかかわらず、GuidedBPのsalienceマップにクラス判別的情報が含まれるか？
• RQ2 勾配の大きさにおけるクラス間の差を保持することで、敵対的誤分類をよりよく説明できるようにsalienceマップを強化できるか？
• RQ3 強化されたGuidedBPは、既存のsalience手法と比較して、敵対的予測の説明においてどのように性能を発揮するか？
• RQ4 敵対的入力に対するsalienceに基づく摂動によって、モデルの性能を回復させられるか？
• RQ5 成功した攻撃（Adv_s）と失敗した攻撃（Adv_f）において、salienceマップはそれぞれどのような特徴を強調するか？

主な発見

• 提案された強化されたGuidedBPは、誤った予測の原因となる特徴を明確に可視化することで、敵対的誤分類の説明能力を顕著に向上させる。
• 強化されたGuidedBPのsalienceマップは、クリーン画像では正しい物体部分（例：頭部）に注目しているのに対し、敵対的に誤分類された画像では無関係な特徴（例：トビの翼）に注目していることが明確に示されている。
• 本手法は、定性的および定量的評価の両面で、敵対的攻撃の説明において最先端の性能を達成しており、既存のsalience手法を上回っている。
• 強化されたマップに従って誘導される敵対的入力に対するsalienceに基づく摂動は、C&W攻撃例においてモデル性能の明確な回復をもたらす。
• フィルタリング効果（正の勾配のバイナリマスク）はクラス間でほぼ同一であるが、正規化されていない状態では、クラス判別的情報が顕在化する。
• 成功した攻撃（Adv_s）では、salienceマップは関係のない特徴（例：トビの翼）に集中するが、失敗した攻撃（Adv_f）では正しくターゲットオブジェクト（例：頭部）を強調する。これにより、本手法の敵対的判別能力が裏付けられる。