[論文レビュー] Do Wider Neural Networks Really Help Adversarial Robustness?

Boxi Wu, Jinghui Chen+3 more|arXiv (Cornell University)|Oct 3, 2020

Adversarial Robustness in Machine Learning参考文献 75被引用数 35

ひとこと要約

この論文は、対 adversarial トレーニングの下でネットワーク幅が敵対的ロバストネスに与える影響を分析し、幅が広いネットは摂動安定性を損なう可能性があり、Width Adjusted Regularization (WAR) を提案してこれを緩和する。

ABSTRACT

Adversarial training is a powerful type of defense against adversarial examples. Previous empirical results suggest that adversarial training requires wider networks for better performances. However, it remains elusive how neural network width affects model robustness. In this paper, we carefully examine the relationship between network width and model robustness. Specifically, we show that the model robustness is closely related to the tradeoff between natural accuracy and perturbation stability, which is controlled by the robust regularization parameter $λ$. With the same $λ$, wider networks can achieve better natural accuracy but worse perturbation stability, leading to a potentially worse overall model robustness. To understand the origin of this phenomenon, we further relate the perturbation stability with the network's local Lipschitzness. By leveraging recent results on neural tangent kernels, we theoretically show that wider networks tend to have worse perturbation stability. Our analyses suggest that: 1) the common strategy of first fine-tuning $λ$ on small networks and then directly use it for wide model training could lead to deteriorated model robustness; 2) one needs to properly enlarge $λ$ to unleash the robustness potential of wider models fully. Finally, we propose a new Width Adjusted Regularization (WAR) method that adaptively enlarges $λ$ on wide models and significantly saves the tuning time.

研究の動機と目的

• ネットワーク幅が対敵対的トレーニングにおけるモデルのロバストネスに与える影響を調査する。
• 自然精度と摂動安定性のトレードオフを特徴づける。
• 摂動安定性を局所リプシッツ性およびニューラルタンジェントカーネル（NTK）結果と理論的に結びつける。
• 広いモデルのロバストネスを改善するために正則化を適応させる方法を提案する。
• より広いアーキテクチャのロバスト性潜在能力を引き出すための正則化の調整に関する実践的な指針を提供する。

提案手法

• TRADESフレームワークにおいて lambda によって制御される堅牢な正則化項を用いた対敵トレーニングを用意に定式化する。
• CIFAR-10 上の WideResNet を用いて、幅ごとに自然精度、ロバスト精度、摂動安定性を実証的に測定する。
• 局所リプシッツ性とネットワーク幅の関数として摂動安定性を分析する。
• NTK に基づく議論を用いて、幅の広いネットワークはより大きな局所リプシッツ定数を持ち、安定性を劣化させることを示す。
• 広いモデルに対して lambda を適応させ、調整作業を削減する Width Adjusted Regularization (WAR) を提案する。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク幅は、対敵対的トレーニング下での摂動安定性と全体的なロバストネスにどう影響するか？
• RQ2 幅が増加するにつれて、自然精度、摂動安定性、およびロバスト精度の関係はどうなるか？
• RQ3 より大きなロバスト正則化（lambda）は、幅に起因する安定性とロバスト性の劣化を緩和できるか？
• RQ4 幅を考慮した正則化戦略は、過度なハイパーパラメータ調整なしにロバスト性を向上させるか？

主な発見

• 幅の広いネットワークは多くの場合、自然精度は高いが摂動安定性は悪化し、必ずしもロバスト性の向上を保証しない。
• 摂動安定性は局所リプシッツ定数の増加により幅とともに低下し、幅広いネットワークは入力勾配ノルムが大きくなる。
• トレードオフは、自然精度と摂動安定性の間で説明する方が、自然精度とロバスト性の比較だけより適切である。
• 幅広いモデルに対してロバスト正則化パラメータ lambda を増やすと、摂動安定性とロバスト性が向上する。
• Width Adjusted Regularization (WAR) アプローチは幅とともに lambda を適用でき、調整時間を節約し、アーキテクチャやデータセットを跨いだロバスト性を高める。