[論文レビュー] Adversarial Training is a Form of Data-dependent Operator Norm Regularization

Kevin A. Roth, Yannic Kilcher+1 more|arXiv (Cornell University)|Jun 4, 2019

Adversarial Robustness in Machine Learning参考文献 60被引用数 15

ひとこと要約

本稿は、$ε$-制約付き勾配上昇法を用いた adversarial training と、データに依存する作用素ノルム正則化との間で理論的同等性を確立し、このような訓練がデータに支えられる領域におけるニューラルネットワークのスペクトル的性質を暗黙的に正則化することを示している。主な貢献は、出力層のログティットにおける $Â뀒$-ノルム損失を用いた adversarial training が、数学的に $(p,q)$-作用素ノルム正則化と同等であることを証明したことであり、スペクトル制御によるロバストネスの新たな理論的基盤を提供する。

ABSTRACT

We establish a theoretical link between adversarial training and operator norm regularization for deep neural networks. Specifically, we prove that $\ell_p$-norm constrained projected gradient ascent based adversarial training with an $\ell_q$-norm loss on the logits of clean and perturbed inputs is equivalent to data-dependent (p, q) operator norm regularization. This fundamental connection confirms the long-standing argument that a network's sensitivity to adversarial examples is tied to its spectral properties and hints at novel ways to robustify and defend against adversarial attacks. We provide extensive empirical evidence on state-of-the-art network architectures to support our theoretical results.

研究の動機と目的

• 深層ニューラルネットワークにおける adversarial training を作用素ノルム正則化と理論的に結びつけること。
• 出力層のログティットにおける $Â뀒$-ノルム制約付き摂動と $Â뀒$-ノルム損失を用いた adversarial training が、データに依存する $(p,q)$-作用素ノルム正則化と同等であることを示すこと。
• adversarial 扰乱が主成分の特異ベクトルと一致すること、および adversarial training が特異値を低減することを実証的証拠で示すこと。
• adversarial training が標準的訓練よりもデータポイントの周囲で顕著に線形性が高まるモデルを生成することを示すこと。
• データに依存するスペクトル正則化によるロバスト一般化の理論的基盤を確立すること。

提案手法

• 理論的分析により、出力層のログティットにおける $Â뀒$-ノルム損失を伴う $Â뀒$-ノルム制約付き勾配上昇法を用いた adversarial training が、データに依存する $(p,q)$-作用素ノルム正則化と数学的に同等であることを証明する。
• 分析は、ネットワークの最終層のヤコビアンに焦点を当て、adversarial 攻撃が主成分の特異ベクトルを特定するためのパワー法に類似した反復を近似的に実行していることを示す。
• 本手法は、従来の研究で提案されたグローバルな境界とは異なり、データ分布がカバーする領域でのみ特異値を正則化する、データに依存するスペクトルノルム正則化の変種を導入する。
• 実証的評価では、ヤコビアンの特異ベクトルと特異値を用いて、adversarial 扰乱の整合性とモデルの線形性を分析する。
• 複数のデータセットと摂動ノルム（$\ell_2$、$\ell_\infty$）を用いた実験により、標準的訓練、adversarial training、明示的なデータに依存する作用素ノルム正則化の比較が行われる。
• 理論的同等性は、特にヤコビアンの特異値分解に着目した行列解析とその性質を用いて導出される。

実験結果

リサーチクエスチョン

• RQ1 adversarial training は作用素ノルム正則化の一種と同等であるか？
• RQ2 adversarial training は、データに支えられる領域におけるニューラルネットワークのスペクトル的性質を正則化すると解釈できるか？
• RQ3 adversarial 扰乱は、ネットワークのヤコビアンの主成分の特異ベクトルと一致するか？
• RQ4 adversarial training は、ネットワークのヤコビアンの上位特異値を低減させ、データポイントの周囲での線形性を高めるか？
• RQ5 データに依存する作用素ノルム正則化は、adversarial training と同等のロバストネスを達成できるか？

主な発見

• 出力層のログティットにおける $Â뀒$-ノルム損失と $Â뀒$-ノルム制約付き摂動を用いた adversarial training は、数学的にデータに依存する $(p,q)$-作用素ノルム正則化と同等である。
• adversarial 扰乱は、特に訓練で使用された $Â뀒$-ノルム制約レベルにおいて、ネットワークのヤコビアンの主成分の特異ベクトルと強く一致する。
• adversarial training は、ネットワークのヤコビアンの上位特異値を顕著に低減させ、入力摂動に対する感度が低下していることを示している。
• adversarial training やデータに依存する作用素ノルム正則化で学習されたモデルは、標準的訓練のモデルと比較して、データポイントの周囲で顕著に高い線形性を示す。
• 異なる摂動ノルム（$\ell_2$、$\ell_\infty$）とデータセット（CIFAR-10、SVHN）においても同等の結果が得られ、一貫性のある実証的証拠が得られた。
• 理論的および実証的結果により、adversarial ロバストネスがネットワークのヤコビアンのスペクトル的性質と本質的に関連していることが確認された。