[論文レビュー] Towards Understanding the Regularization of Adversarial Robustness on Neural Networks

Yuxin Wen, Shuai Li+1 more|arXiv (Cornell University)|Nov 15, 2020

Adversarial Robustness in Machine Learning参考文献 40被引用数 7

ひとこと要約

この論文は、敵対的ロバストネス訓練が深層ニューラルネットワークにおける標準的精度を低下させる理由を、敵対的ロバストネスを正則化の一形態として定式化することで調査している。ロバストネスは、層全体にわたる特徴空間の変化を一様に滑らかにするメカニズムによって達成され、その結果、例が決定境界付近に集中し、モデルの信頼度が低下することで自然な精度が悪化する。本研究では、現在の敵対的訓練が過剰に攻撃的な正則化を引き起こしており、これをより穏やかな手法で緩和できる可能性があると示唆している。

ABSTRACT

The problem of adversarial examples has shown that modern Neural Network (NN) models could be rather fragile. Among the more established techniques to solve the problem, one is to require the model to be {\\it $\\epsilon$-adversarially robust} (AR); that is, to require the model not to change predicted labels when any given input examples are perturbed within a certain range. However, it is observed that such methods would lead to standard performance degradation, i.e., the degradation on natural examples. In this work, we study the degradation through the regularization perspective. We identify quantities from generalization analysis of NNs; with the identified quantities we empirically find that AR is achieved by regularizing/biasing NNs towards less confident solutions by making the changes in the feature space (induced by changes in the instance space) of most layers smoother uniformly in all directions; so to a certain extent, it prevents sudden change in prediction w.r.t. perturbations. However, the end result of such smoothing concentrates samples around decision boundaries, resulting in less confident solutions, and leads to worse standard performance. Our studies suggest that one might consider ways that build AR into NNs in a gentler way to avoid the problematic regularization.

研究の動機と目的

• 敵対的ロバストネス訓練が深層ニューラルネットワークにおける標準的精度を低下させる背後にある正則化メカニズムを理解すること。
• 敵対的訓練が引き起こすニューラルネットワークの構造的および表現的変化を同定すること。
• 敵対的ロバストネスが特徴空間の滑らかさとモデルの信頼度に与える影響、特に決定境界付近での影響を分析すること。
• 敵対的訓練が無害な正則化であるという仮定に疑問を呈し、むしろ予測の信頼度を低くする悪影響を引き起こすバイアスを示すこと。
• 今後のロバストネス手法は、過剰な滑らかさを避けるべきであり、標準的精度を保ちながらより穏やかにロバストネスを構築すべきであると提言すること。

提案手法

• 著者らは、深層ニューラルネットワークの一般化限界を導出し、敵対的ロバストネスと標準的精度のトレードオフを理論的に分析した。
• 特徴空間の滑らかさを評価するために、層ごとの特異値の標準偏差を測定する実験的分析を実施した。
• 予測のマージン分布を分析し、ロバスト訓練下でのモデルの信頼度の低下を定量的に評価した。
• CIFAR-10、CIFAR-100、Tiny-ImageNetのデータセットで、さまざまな敵対的ロバストネスレベル（ε値）を持つモデルを比較した。
• 敵対的精度を評価するために、10イテレーション、ステップサイズ2のPGD攻撃を用いた。
• バッチ正則化を除いたResNetモデルを訓練し、Fixup初期化と各エポックでのスペクトルノルムクリッピングを用いて、スペクトルノルムの挙動を隔離した。

実験結果

リサーチクエスチョン

• RQ1 敵対的ロバストネス訓練は深層ニューラルネットワークをどのように正則化し、どのような特定のインダクティブバイアスを導入するのか？
• RQ2 敵対的ロバストネス訓練は、ロバストネスを向上させる一方で、なぜ標準的精度を低下させるのか？
• RQ3 敵対的訓練は、層全体にわたって特徴空間変換を一様に滑らかにするのか、その程度はどの程度か？
• RQ4 決定境界付近に例が集中することは、モデルの信頼度と一般化性能にどのように影響するか？
• RQ5 正則化プロセスを変更することで、敵対的訓練が標準的精度に与える悪影響を緩和できるか？

主な発見

• 敵対的ロバストネスは、大多数の層にわたって特徴空間の変化を滑らかで一様に保つようにニューラルネットワークを正則化することで達成される。
• この滑らかさの効果により、データポイントが決定境界付近に集中し、モデルの信頼度が低下することで、標準的精度が悪化する。
• 敵対的ロバストネスの強さが高くなるほど、層ごとの特異値の標準偏差が増加し、特徴変換がより一様で安定していることが示された。
• 高い敵対的ロバストネスを示すモデルは、標準的精度が低くなる傾向を示しており（例：ResNet-56でε=16のときCIFAR-10で59.43％）、敵対的精度は48.81％と高い。
• ロバストネスと精度のトレードオフは、単なるデータ拡張ではなく、一様な滑らかさによるモデル信頼度の過剰ペナルティに起因する。
• 本研究では、現在の敵対的訓練が過剰に攻撃的な正則化を引き起こしており、これをより穏やかで的確な方法に置き換えることで、標準的性能を維持できる可能性があると示唆している。