[論文レビュー] Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations

Yu‐Lin Tsai, Chia-Yi Hsu+2 more|arXiv (Cornell University)|Mar 3, 2021

Adversarial Robustness in Machine Learning参考文献 28被引用数 6

ひとこと要約

本稿は、ノルム有界な重み摂動下における順方向ニューラルネットワークの一般化とロバスト性を形式化する理論的枠組みを導入し、分類マージンおよびラデマッハーチャー複雑度の上限を導出する。一般化と敵対的ロバスト性の両方を向上させる理論的根拠に基づく損失関数を提案し、非自明な一般化上限が得られる実験的妥当性を検証する。

ABSTRACT

Studying the sensitivity of weight perturbation in neural networks and its impacts on model performance, including generalization and robustness, is an active research topic due to its implications on a wide range of machine learning tasks such as model compression, generalization gap assessment, and adversarial attacks. In this paper, we provide the first integral study and analysis for feed-forward neural networks in terms of the robustness in pairwise class margin and its generalization behavior under weight perturbation. We further design a new theory-driven loss function for training generalizable and robust neural networks against weight perturbations. Empirical experiments are conducted to validate our theoretical analysis. Our results offer fundamental insights for characterizing the generalization and robustness of neural networks against weight perturbations.

研究の動機と目的

• 順方向ニューラルネットワークにおける重み摂動、分類マージンのロバスト性、および一般化ギャップの間の相互作用を理論的に特徴づけること。
• 重み摂動に対するロバストなモデルを訓練するための理論的分析に基づく新しい損失関数を開発すること。
• 敵対的重み攻撃下での一般化とロバスト性に関する実験的評価を通じて、理論的知見を検証すること。
• 標準的な訓練とは異なり、提案された損失関数で訓練した場合に一般化上限が非自明（non-vacuous）のままであることを示すこと。

提案手法

• スペクトルノルムを用いて、1層目、全層、および選択層の重み摂動下におけるペアワイズ分類マージンの最悪ケースのロバスト性上限を導出する。
• 重み摂動下におけるラデマッハーチャー複雑度を用いて一般化行動を分析し、ロバストモデルに対して非自明な上限を確立する。
• 最悪ケースのマージンによるロバスト性とラデマッハーチャー複雑度による一般化を同時に最適化する理論的根拠に基づく損失関数を提案する。
• 重みに対するPGD攻撃を用いてモデルを実験的に評価し、さまざまな摂動レベルにおけるロバスト性と一般化を比較する。
• アブレーションスタディを用いて、損失関数内のロバスト性および一般化正則化項の役割を分離して評価する。
• 重み分布を可視化し、標準モデルとロバストモデル間の一般化上限を比較することで、理論的主張の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 重み摂動は、順方向ニューラルネットワークにおけるペアワイズ分類マージンのロバスト性にどのように影響するか？
• RQ2 重み摂動下でラデマッハーチャー複雑度を用いて非自明な一般化上限を導出できるか？
• RQ3 訓練中に敵対的重み摂動がモデルの一般化とロバスト性に与える影響は何か？
• RQ4 提案された理論的根拠に基づく損失関数は、ナーブな敵対的重み訓練と比べて実際にはどのように異なるか？
• RQ5 ロバスト性および一般化正則化項の組み込みにより、よりタイトで非自明な一般化上限が得られるか？

主な発見

• 提案された損失関数は、訓練データサイズが増加するにつれて減少する非自明な一般化上限をもたらすが、標準モデルでは上限が増大し非自明でなくなるのとは対照的である。
• 提案された損失関数で訓練されたロバストモデルは、重みに対するPGD攻撃下でも一般化上限とテスト誤差が減少しており、より高いロバスト性を示している。
• アブレーションスタディにより、ロバスト性項のみで十分に重みを正則化し、非自明な上限を達成することが確認された。一般化正則化を明示的に含まなくても成立する。
• 小さな重み摂動（ε=0.001）下で、ロバストモデルは80.3%のテスト精度を達成し、ナーブな敵対的重み訓練（10%精度）を著しく上回った。
• ロバストモデルの重み分布は、標準モデルと比較してより集中しており、効果的な重み正則化が行われていることを示唆している。
• さまざまなモデルやデータセットサイズにおいて、スペクトルノルム積の比と行列積のノルムの比がほぼ一定であることが確認され、一貫したスケーリング行動が示された。