[論文レビュー] Proper Network Interpretability Helps Adversarial Robustness in Classification

Akhilan Boopathy, Sijia Liu+5 more|arXiv (Cornell University)|Jun 26, 2020

Adversarial Robustness in Machine Learning被引用数 28

ひとこと要約

本稿では、$ε$-ロバスト $Ø_1$-ノルム解釈差異測度を用いて、直接的にロバストなネットワーク解釈を促進することで、敵対的ロバストネスを向上させる、解釈可能性に配慮した防御手法を提案する。ロバストな解釈そのものだけで、特に大きな摂動下においても最先端の敵対的訓練手法を上回ることを示しており、敵対的損失最小化を伴わずに、ロバスト分類とロバスト解釈の両方を達成している。

ABSTRACT

Recent works have empirically shown that there exist adversarial examples that can be hidden from neural network interpretability (namely, making network interpretation maps visually similar), or interpretability is itself susceptible to adversarial attacks. In this paper, we theoretically show that with a proper measurement of interpretation, it is actually difficult to prevent prediction-evasion adversarial attacks from causing interpretation discrepancy, as confirmed by experiments on MNIST, CIFAR-10 and Restricted ImageNet. Spurred by that, we develop an interpretability-aware defensive scheme built only on promoting robust interpretation (without the need for resorting to adversarial loss minimization). We show that our defense achieves both robust classification and robust interpretation, outperforming state-of-the-art adversarial training methods against attacks of large perturbation in particular.

研究の動機と目的

• ニューラルネットワークの解釈可能性と敵対的ロバストネスの関係を調査し、特にロバストな解釈がロバスト分類を向上させることを検証すること。
• 適切な測定法を用いることで、敵対的例が解釈を回避することの本質的な困難さを示す。
• 敵対的損失最小化に依存せず、ロバストな解釈を主たる目的として促進する防御機構を開発すること。
• 大規模摂動に対する敵対的攻撃に対して、ロバストな解釈がロバストネスの向上に寄与することを実験的に検証すること。
• 解釈差異を敵対的ロバストネスの代理指標として用いる理論的根拠を提供すること。

提案手法

• 敵対的摂動が健全な入力に対して解釈マップに与える影響を定量化するため、$Ø_1$-ノルムを用いた2クラス解釈差異測度を導入する。
• 理論的に、この差異測度を制約することで敵対的ロバストネスが向上することを証明し、解釈とロバストネスの間の原理的かつ一貫した関係を確立する。
• $Ø_1$-ノルム差異損失を用いてロバストな解釈を最適化する、解釈可能性に配慮した2つの訓練手法（Int および Int2）を提案する。
• 解釈マップの生成にクラス判別型局在化手法（例：CAM）を用い、摂動に対する感受性をケンダールのタウ相関で測定する。
• 敵対的損失を含まず、標準的な交差エントロピー損失に $Ø_1$-ノルム解釈差異ペナルティを追加してモデルを訓練する。
• 標準的および強力な敵対的攻撃を用いて、MNIST、CIFAR-10、Restricted ImageNetの各データセットで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 ロバストなネットワーク解釈そのものだけで、敵対的攻撃に対する防御機構として機能可能か？
• RQ2 適切な差異測定法を用いることで、敵対的例が解釈を回避することを理論的・実験的に防げるか？
• RQ3 大規模摂動下において、解釈可能性に配慮した訓練は敵対的訓練と比較してどの程度ロバストネスに優れるか？
• RQ4 敵対的データ拡張を用いずに、ロバストな解釈を活用して一般化性能とロバストネスを向上させられるか？
• RQ5 ロバストな解釈の促進は、敵対的訓練が得るような、知覚的に整合的で耐性のある特徴を学習するか？

主な発見

• 提案手法である Int および Int2 は、Adv や TRADES や IG-Norm といった最先端手法を上回る敵対的ロバストネスを達成しており、特に大きな摂動下（MNIST では $\epsilon \geq 0.3$、R-ImageNet では $\epsilon \geq 8/255$）で顕著な優位性を示している。
• MNIST において $\epsilon = 0.4$ の場合、Int2 は解釈への攻撃（AAI）に対してケンダールのタウ相関が 0.351 を達成し、IG-Norm（0.094）や TRADES（0.115）を上回っている。
• R-ImageNet において $\epsilon = 10/255$ の場合、Int2 はケンダールのタウ相関が 0.939 を維持し、Normal（0.619）や Adv（0.858）を著しく上回っている。
• 特徴可視化の結果、Int および Int2 は、敵対的訓練（Adv）と同様に、知覚的に整合的でテクスチャに強い特徴を学習しているのに対し、Normal や IG-Norm とは対照的である。
• 敵対的損失最小化に依存せず、同時にロバスト分類とロバスト解釈を達成しており、IGベースのロバストアトリビューション訓練よりも計算コストが低い。
• すべてのデータセットおよび摂動レベルにおいて、Int および Int2 は一貫して高い解釈ロバストネスを示しており、提案された差異測度の有効性が裏付けられている。