[論文レビュー] Understanding Adversarial Robustness Through Loss Landscape Geometries

Vinay Uday Prabhu, Dian Ang Yap+2 more|arXiv (Cornell University)|Jul 22, 2019

Adversarial Robustness in Machine Learning参考文献 13被引用数 11

ひとこと要約

この論文は、深層ニューラルネットワークにおける adversarial training と loss landscape の幾何学的性質の関係を、フィルタ正規化を用いて可視化することで調査している。直感に反し、特に FGSM や PGD を用いた adversarial training は、より鋭く、より混沌とした loss landscape を生じさせることを示しており、robustness が必ずしも平坦な一般化に繋がるわけではないことを示唆している。stAdv 攻撃は最も滑らかな landscape を生じさせ、元の画像との構造的類似性が高いことが平坦な幾何学的性質を促進している可能性を示している。

ABSTRACT

The pursuit of explaining and improving generalization in deep learning has elicited efforts both in regularization techniques as well as visualization techniques of the loss surface geometry. The latter is related to the intuition prevalent in the community that flatter local optima leads to lower generalization error. In this paper, we harness the state-of-the-art "filter normalization" technique of loss-surface visualization to qualitatively understand the consequences of using adversarial training data augmentation as the explicit regularization technique of choice. Much to our surprise, we discover that this oft deployed adversarial augmentation technique does not actually result in "flatter" loss-landscapes, which requires rethinking adversarial training generalization, and the relationship between generalization and loss landscapes geometries.

研究の動機と目的

• adversarial data augmentation が深層学習の loss landscape の幾何学的性質に与える影響を調査すること。
• adversarial training が平坦でより一般化しやすい loss surface を生じるという仮説を検証すること。
• FGSM、PGD、stAdv といった異なる adversarial attack 方法が loss landscape の滑らかさに与える影響を比較すること。
• loss landscape の幾何学的性質の観点から、adversarial robustness と一般化の間にある乖離を解明すること。
• 最適化ダイナミクスと一般化に及ぼす adversarial training の影響に関する今後の研究を促すこと。

提案手法

• 重みの大きさが異なるモデル間での loss landscape の幾何学的性質を直接比較可能にするために、フィルタ正規化を用いた。
• CIFAR-10 で ResNet-32 モデルを学習した後、FGSM、PGD、stAdv 攻撃によって生成された adversarial な訓練例でデータ拡張を施したデータセットでファインチューニングを行った。
• ℓ∞-有界な adversarial 攻撃を適用した：FGSM は1ステップの摂動、PGD は繰り返しの投影勾配降下法、stAdv は幾何的かつ空間的に変換された摂動を用いた。
• 正規化されたフィルタ方向に沿った2次元および3次元の投影を用いて loss landscape を可視化し、曲率や凸性を評価した。
• 損失関数の滑らかさと関連付けるために、元の画像と adversarial 画像との間の構造的類似性（SSIM）を測定した。
• clean および adversarial テストセットにおけるトップ1正答率を用いて、一般化性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 adversarial training は、一般的に想定されているように、より平坦で凸的な loss landscape を生じさせるのだろうか？
• RQ2 異なる adversarial attack 方法（FGSM、PGD、stAdv）は、loss landscape の幾何学的性質にどのように影響を与えるのか？
• RQ3 adversarial 画像と元の画像との間の知覚的類似性と、loss landscape の滑らかさの間に相関があるだろうか？
• RQ4 事前学習済みモデルからの adversarial fine-tuning は、スクラッチからの学習とは異なった landscape の幾何学的性質を生じさせるのだろうか？
• RQ5 複数の攻撃タイプを組み合わせることで、より平坦な loss landscape が得られ、一般化性能が向上するのだろうか？

主な発見

• 元のデータで学習した clean モデルは、adversarial training が幾何学的性質を改善すると想定されるが、最も滑らかで凸的な loss landscape を示しており、期待とは反対の結果となった。
• FGSM を用いたデータ拡張を施したモデルは、FGSM 攻撃に対しては robust 性が向上しているものの、最も鋭く混沌とした loss landscape を示した。
• PGD を用いたデータ拡張を施したモデルは、FGSM よりもやや滑らかではあるが、依然として clean モデルほどではないほど混沌としていた。
• stAdv を用いたデータ拡張を施したモデルは、最も滑らかな adversarial loss landscape を生成しており、元の画像との構造的類似性（1-SSIM = 0.0028）が高く、それと相関していた。
• 攻撃タイプを問わず、1-SSIM が低い（知覚的類似性が高い）ほど、loss landscape が滑らかくなる強い正の相関が確認された。
• adversarial fine-tuning は、モデルが摂動を記憶し、robust 特徴よりも画像の構造的類似性に基づいて一般化する傾向がある可能性がある。