[論文レビュー] Adversarial Rademacher Complexity of Deep Neural Networks

Jiancong Xiao, Yanbo Fan+2 more|arXiv (Cornell University)|Nov 27, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、カバー数を用いてロバスト化された関数クラスを扱うことで、深層ニューラルネットワークにおける敵対的ラデマッチャー複雑度（ARC）の理論的上限を初めて提示する。DNNの重みノルムとマージンの分析を通じて、劣悪な敵対的一般化を説明する一般化上限を確立し、重み減衰がロバストネスを向上させる役割を検証する。

ABSTRACT

Deep neural networks are vulnerable to adversarial attacks. Ideally, a robust model shall perform well on both the perturbed training data and the unseen perturbed test data. It is found empirically that fitting perturbed training data is not hard, but generalizing to perturbed test data is quite difficult. To better understand adversarial generalization, it is of great interest to study the adversarial Rademacher complexity (ARC) of deep neural networks. However, how to bound ARC in multi-layers cases is largely unclear due to the difficulty of analyzing adversarial loss in the definition of ARC. There have been two types of attempts of ARC. One is to provide the upper bound of ARC in linear and one-hidden layer cases. However, these approaches seem hard to extend to multi-layer cases. Another is to modify the adversarial loss and provide upper bounds of Rademacher complexity on such surrogate loss in multi-layer cases. However, such variants of Rademacher complexity are not guaranteed to be bounds for meaningful robust generalization gaps (RGG). In this paper, we provide a solution to this unsolved problem. Specifically, we provide the first bound of adversarial Rademacher complexity of deep neural networks. Our approach is based on covering numbers. We provide a method to handle the robustify function classes of DNNs such that we can calculate the covering numbers. Finally, we provide experiments to study the empirical implication of our bounds and provide an analysis of poor adversarial generalization.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）における敵対的ラデマッチャー複雑度（ARC）の理論的上限の欠如、特に多層アーキテクチャに対して解決する。
• ARC定義における最大値演算（max演算）の分析の難しさを克服し、層剥がし法やカバー数法といった標準的手法の適用を妨げる要因を解消する。
• DNNのARCに対する厳密な上界を提供し、ロバスト一般化ギャップの理解と定量的評価に用いる。
• 重みノルム、マージン、正則化（重み減衰を含む）の影響を実験的に分析することで、理論的知見を検証する。

提案手法

• ロバスト化された関数クラスに対するカバー数を用いて、DNNの敵対的ラデマッチャー複雑度の上限を求める新規手法を提案する。
• DNNの構造を重み行列のノルムと活性化関数の性質を分析することで、ARC定義におけるmax演算を扱う技術を導入する。
• 層ごとの重みノルムの積（例：フロベニウスノルムまたは1,∞-ノルム）と訓練データのマージンに依存するARCの上界を導出する。
• この上界を用いてロバスト一般化ギャップを分析し、特に重み減衰による正則化との関連を明確にする。
• CIFAR-10およびCIFAR-100における実験を通じて、標準学習と敵対的学習を比較し、重みノルム、マージン、一般化ギャップを測定する。
• 敵対的学習モデルが重みノルム積が大きく、ロバスト一般化ギャップも顕著に大きいが、重み減衰によりその影響が軽減されることを理論的枠組みで検証する。

実験結果

リサーチクエスチョン

• RQ1 複数層を持つ深層ニューラルネットワークに対して、敵対的ラデマッチャー複雑度の理論的上界を提供できるか？
• RQ2 特に重みノルムとマージンに起因する深層ネットワークの構造が、敵対的一般化にどのように影響を与えるか？
• RQ3 重み減衰が重みノルムを制御することで、敵対的一般化ギャップをどの程度正則化できるか？
• RQ4 なぜ敵対的学習は訓練セットでの高いロバスト精度を示すにもかかわらず、一般化性能が劣悪になるのか？
• RQ5 実際の応用において、重みノルムの積とデータマージンは、ロバスト一般化ギャップとどの程度相関するか？

主な発見

• 本研究は、カバー数を用いて深層ニューラルネットワークにおける敵対的ラデマッチャー複雑度の理論的上限を初めて提供し、長年の未解決問題を解決する。
• 上界は、ロバスト一般化ギャップが層ごとの重みノルムの積（例：フロベニウスノルムまたは1,∞-ノルム）をデータマージンで除算した量に比例することを示し、敵対的学習における一般化の劣化を説明する。
• VGG-16およびVGG-19における実験では、敵対的学習モデルの重みノルム積（例：約6e12）が標準学習モデル（約1.9e12）に比べて顕著に大きいことが判明し、一般化ギャップの増大と相関する。
• 重み減衰を用いた敵対的学習により、重みノルム積とロバスト一般化ギャップの両方が低減され、最適な重み減衰の範囲は[1e-3, 5e-3]である。
• CIFAR-100では、50,000件のサンプルを用いた敵対的学習でもロバスト精度は約20％にとどまり、重みノルム積は標準学習と比較して著しく高いままであり、一般化問題が持続していることを示唆する。
• アブレーションスタディにより、訓練データのマージンは上界にほとんど影響しないことが確認され、主な要因はマージンの大きさではなく重みノルム積であることが判明した。