[論文レビュー] Revisiting Loss Landscape for Adversarial Robustness

Dongxian Wu, Yisen Wang+1 more|arXiv (Cornell University)|Apr 13, 2020

Adversarial Robustness in Machine Learning参考文献 38被引用数 10

ひとこと要約

本稿では、敵対的訓練中に敵対的損失のランドスケープの平坦性を正則化する、シンプルでありながら効果的なモジュールである敵対的ウェイト摂動（AWP）を提案する。実験により、AWPは損失のランドスケープを平坦化し、複数の敵対的訓練の変種において耐性性能を向上させることを示している。

ABSTRACT

The study on improving the robustness of deep neural networks against adversarial examples grows rapidly in recent years. Among them, adversarial training is the most promising one, based on which, a lot of improvements have been developed, such as adding regularizations or leveraging unlabeled data. However, these improvements seem to come from isolated perspectives, so that we are curious about if there is something in common behind them. In this paper, we investigate the surface geometry of several well-recognized adversarial training variants, and reveal that their adversarial loss landscape is closely related to the adversarially robust generalization, i.e., the flatter the adversarial loss landscape, the smaller the adversarially robust generalization gap. Based on this finding, we then propose a simple yet effective module, Adversarial Weight Perturbation (AWP), to directly regularize the flatness of the adversarial loss landscape in the adversarial training framework. Extensive experiments demonstrate that AWP indeed owns flatter landscape and can be easily incorporated into various adversarial training variants to enhance their adversarial robustness further.

研究の動機と目的

• 一般的な敵対的訓練の改善策が、損失ランドスケープにおいて共通する幾何的性質を有するかどうかを調査すること。
• 敵対的損失ランドスケープの平坦性と敵対的耐性一般化ギャップのサイズとの関係を調査すること。
• ランドスケープの平坦性を直接最適化することで耐性を向上させる統一された正則化手法を開発すること。
• 提案手法が多様な敵対的訓練フレームワークにわたって有効であることを実証すること。

提案手法

• 著者たちは、複数の敵対的訓練変種の表面幾何を分析し、それらの損失ランドスケープに共通するパターンを同定する。
• 彼らは、敵対的例勾配の方向にネットワークの重みを摂動させるように設計された、敵対的ウェイト摂動（AWP）を導入する。
• AWPは、標準的な敵対的訓練ループに統合され、敵対的例勾配の方向に重みを摂動させることで実装される。
• この手法はモジュール型であり、さまざまな既存の敵対的訓練手法と互換性を持つように設計されている。
• 敵対的損失ランドスケープの平坦性が測定され、一般化性能と相関関係が分析されている。

実験結果

リサーチクエスチョン

• RQ1 成功した敵対的訓練手法の背後にある共通の幾何的性質として、具体的には損失ランドスケープの平坦性が存在するか？
• RQ2 敵対的損失ランドスケープの平坦性は、敵対的耐性一般化ギャップのサイズにどのように関係するか？
• RQ3 ランドスケープの平坦性を明示的に正則化することで、多様な訓練フレームワークにわたって敵対的耐性が向上するか？
• RQ4 提案されたAWPモジュールは、実際のところ敵対的損失ランドスケープを効果的に平坦化するか？

主な発見

• 複数の訓練変種において、より平坦な敵対的損失ランドスケープは、常に小さな敵対的耐性一般化ギャップと一貫して関連している。
• AWPは、提案された平坦性指標を用いて測定したところ、敵対的損失ランドスケープを実際に平坦化していることが確認された。
• AWPは、さまざまな既存の敵対的訓練フレームワークに統合された際、敵対的耐性を向上させた。
• AWPによる向上効果は一貫的で顕著であり、その有効性と一般化可能性が示された。