[論文レビュー] On the Loss Landscape of Adversarial Training: Identifying Challenges and How to Overcome Them

Chen Liu, Mathieu Salzmann+3 more|arXiv (Cornell University)|Jun 15, 2020

Adversarial Robustness in Machine Learning参考文献 54被引用数 26

ひとこと要約

この論文は、 adversarial training における大きな adversarial バジェットが、曲率の増加、勾配の散乱、鋭い極小値を伴うより困難な損失関数の形状を引き起こすことを特定している。これにより最適化が阻害される。これを克服するために、訓練中に adversarial バジェットを周期的に調整する Periodic Adversarial Scheduling (PAS) を提案する。これにより、計算コストを増加させることなく、robust accuracy の向上と学習率への感受性の低減が達成される。

ABSTRACT

We analyze the influence of adversarial training on the loss landscape of machine learning models. To this end, we first provide analytical studies of the properties of adversarial loss functions under different adversarial budgets. We then demonstrate that the adversarial loss landscape is less favorable to optimization, due to increased curvature and more scattered gradients. Our conclusions are validated by numerical analyses, which show that training under large adversarial budgets impede the escape from suboptimal random initialization, cause non-vanishing gradients and make the model find sharper minima. Based on these observations, we show that a periodic adversarial scheduling (PAS) strategy can effectively overcome these challenges, yielding better results than vanilla adversarial training while being much less sensitive to the choice of learning rate.

研究の動機と目的

• adversarial バジェットのサイズが adversarial training 時の深層学習モデルの損失関数の形状に与える影響を分析すること。
• 大きな adversarial バジェット下で生じる最適化の課題（曲率の増加、勾配の散乱、鋭い極小値など）を特定すること。
• adversarial バジェットのサイズが収束速度、一般化ギャップ、モデルの接続性に与える影響を調査すること。
• 計算コストを増加させることなく、訓練の安定性とロバストネスを向上させるスケジューリング戦略を提案すること。
• 周期的な adversarial バジェットのスケジューリングが、vanilla adversarial training よりも優れた性能を発揮することを検証すること。

提案手法

• 線形モデルを用いた adversarial 損失関数の理論的分析により、異なる adversarial バジェット下での性質を導出する。
• 損失関数の曲率に関する数値的・ヘッシアンベースの分析を通じて、非線形な深層ネットワークへの理論的知見の拡張。
• 訓練中に段階的に増加・減少させる周期的戦略である Periodic Adversarial Scheduling (PAS) の導入。初期段階にはウォームアップフェーズを含む。
• パラメータ空間における極小値間の接続性を評価するために、ベジエ曲線の使用。訓練済みモデルの損失関数形状内での結合性を評価。
• LeNet および ResNet アーキテクチャを用いた MNIST および CIFAR-10 データセットにおける実験的評価。さまざまなスケジューリング戦略を比較。
• バッチ正規化の統計量を曲線上で再推定しながら、勾配ベースのベジエ曲線最適化により経路損失と接続性を推定する。

実験結果

リサーチクエスチョン

• RQ1 adversarial バジェットのサイズは、adversarial 損失関数の形状の滑らかさと曲率にどのように影響するか？
• RQ2 なぜ大きなバジェットを用いた adversarial training では収束が遅く、勾配が消えないのか？
• RQ3 adversarial training における一般化ギャップの原因は何か。また、損失関数の幾何的性質とどのように関連しているか？
• RQ4 adversarial バジェットの動的スケジューリングは、最適化の安定性とロバスト精度を向上させることができるか？
• RQ5 adversarial 損失関数の形状における極小値は、vanilla 学習の形状と比べてどの程度接続されているか？

主な発見

• 大きな adversarial バジェットは損失関数の曲率を増加させ、勾配の散乱を引き起こし、最適化を困難にする。
• 大きなバジェット下での訓練は、局所的最適解からの脱出を阻害し、最終段階でも勾配が消えない状態が続く。
• ヘッシアン分析により、大きな adversarial バジェット下で得られる極小値は、小さなバジェット下のものよりも顕著に鋭いことが確認された。
• Periodic Adversarial Scheduling (PAS) は、複数のモデルサイズとデータセットにおいて、vanilla adversarial training よりも優れたロバスト精度を達成した。
• PAS は学習率の選択に対する感受性を低減し、MNIST および CIFAR-10 においてさまざまな学習率設定でも一貫した性能を示した。
• 特に大きなバジェット下では、adversarial 損失関数の形状における極小値は、vanilla 学習の形状よりも接続性が低く、訓練済みモデルを結ぶベジエ曲線が平坦でないことが示された。