[論文レビュー] Feature Prioritization and Regularization Improve Standard Accuracy and Adversarial Robustness

Chihuang Liu, Joseph F. JáJá|arXiv (Cornell University)|Oct 4, 2018

Adversarial Robustness in Machine Learning参考文献 25被引用数 6

ひとこと要約

本論文は、非線形アテンションモジュールとL2特徴正則化を用いた特徴の優先順位付けを通じて、敵対的訓練を向上させる手法を提案する。アテンション機構は、頑健でラベル関連の特徴を強調し、非頑健な特徴を抑制する。正則化は、クリーン入力と敵対的入力の間での特徴の不変性を促進し、MNIST、CIFAR-10、CIFAR-100で最先端の性能を達成する。

ABSTRACT

Adversarial training has been successfully applied to build robust models at a certain cost. While the robustness of a model increases, the standard classification accuracy declines. This phenomenon is suggested to be an inherent trade-off. We propose a model that employs feature prioritization by a nonlinear attention module and $L_2$ feature regularization to improve the adversarial robustness and the standard accuracy relative to adversarial training. The attention module encourages the model to rely heavily on robust features by assigning larger weights to them while suppressing non-robust features. The regularizer encourages the model to extract similar features for the natural and adversarial images, effectively ignoring the added perturbation. In addition to evaluating the robustness of our model, we provide justification for the attention module and propose a novel experimental strategy that quantitatively demonstrates that our model is almost ideally aligned with salient data characteristics. Additional experimental results illustrate the power of our model relative to the state of the art methods.

研究の動機と目的

• 敵対的訓練における標準的精度と敵対的頑健性のトレードオフを解消すること。
• モデルが頑健で不変の特徴に依存するよう明示的に促進する手法を開発すること。
• 勾配マップと顕著なデータ特性を一致させることで、モデルの解釈可能性を向上させること。
• 勾長マップと入力データとの間の一致を定量的に評価すること。
• 敵対的訓練および最先端のベースラインを上回る優れた性能を示すこと。

提案手法

• 分類に使用されるグローバル特徴と相関が高いローカル特徴に高い重みを割り当てる非線形アテンションモジュールを導入する。
• 非線形な適合性関数を用いてアテンション重みを計算し、ラベルと強く相関する特徴を優遇する。
• クリーン画像とその敵対的対応物の特徴間のL2距離を最小化するL2特徴正則化を適用する。
• 正則化項は、クリーン入力と摂動を加えた入力の両方から類似した特徴を抽出するようモデルを促進し、敵対的ノイズを効果的に無視する。
• 顕著なデータ特性との一致を定量的に測定するため、勾長マップ分類精度を用いた新しい評価戦略を採用する。
• 敵対的訓練にアテンションと正則化の両方の要素を組み合わせ、最終的なモデル（AT-att-reg）を構築する。

実験結果

リサーチクエスチョン

• RQ1 アテンションによる特徴の優先順位付けは、標準的精度と敵対的頑健性の両方を向上させることができるか？
• RQ2 L2特徴正則化は、摂動下での特徴不変性を促進することで頑健性を向上させるか？
• RQ3 モデルの勾長マップは、顕著なデータ特性とどの程度一致しているか。これは、頑健な特徴に依存しているかどうかを示唆する。
• RQ4 提案手法は、敵対的訓練および他の最先端手法と比較して、定量的にどの程度優れているか？
• RQ5 アテンション機構は、非頑健な背景特徴を効果的に抑制するか？

主な発見

• CIFAR-10では、クリッピングを施した勾長マップで31.59%のテスト精度を達成し、Madryらのモデル（28.72%）を顕著に上回った。
• CIFAR-100では、PGD攻撃下でベースラインの敵対的訓練よりも最大4%の頑健な精度向上を達成した。
• CW-100攻撃では、敵対的ロジットペアリング（ALP）を3.8%上回り、特徴レベルの正則化の優位性を示した。
• 提案手法の勾長マップは、元の画像と優れた一致を示し、頑健で顕著な特徴に強く依存していることを示した。
• 定性的な分析により、アテンション機構が物体領域に明確に焦点を合わせ、背景の雑音を抑制していることが確認された。
• 敵対的訓練単体よりも高い標準的精度とより優れた敵対的頑健性を達成しており、提案されたコンponentsの有効性が裏付けられた。