[論文レビュー] Rademacher Complexity for Adversarially Robust Generalization

Dong Yin, Kannan Ramchandran+1 more|arXiv (Cornell University)|Oct 29, 2018

Adversarial Robustness in Machine Learning参考文献 56被引用数 64

ひとこと要約

この論文は、L-infinity攻撃下での対抗的に堅牢な一般化をラデマッハー複雑さを用いて分析し、2値および多クラス線形分類器について厳密な境界を提供し、次元依存性を明示的に示し、ニューラルネットワークおよび代理損失の結果を示す。

ABSTRACT

Many machine learning models are vulnerable to adversarial attacks; for example, adding adversarial perturbations that are imperceptible to humans can often make machine learning models produce wrong predictions with high confidence. Moreover, although we may obtain robust models on the training dataset via adversarial training, in some problems the learned models cannot generalize well to the test data. In this paper, we focus on $\ell_\infty$ attacks, and study the adversarially robust generalization problem through the lens of Rademacher complexity. For binary linear classifiers, we prove tight bounds for the adversarial Rademacher complexity, and show that the adversarial Rademacher complexity is never smaller than its natural counterpart, and it has an unavoidable dimension dependence, unless the weight vector has bounded $\ell_1$ norm. The results also extend to multi-class linear classifiers. For (nonlinear) neural networks, we show that the dimension dependence in the adversarial Rademacher complexity also exists. We further consider a surrogate adversarial loss for one-hidden layer ReLU network and prove margin bounds for this setting. Our results indicate that having $\ell_1$ norm constraints on the weight matrices might be a potential way to improve generalization in the adversarial setting. We demonstrate experimental results that validate our theoretical findings.

研究の動機と目的

• L-infinity摂動下での対抗的に堅牢な一般化の研究を動機づけ、形式化する。
• 線形および多クラス線形分類器に対する対抗的ラデマッハー複雑さを特徴付ける。
• ニューラルネットワークへの分析の拡張と代理損失およびマージン境界の検討。
• 対抗的一般化を改善する潜在的な方法として、ノルムベースの正則化（特にL1）を提案する。
• 理論的所見の実験的検証を提供する。

提案手法

• L-infinity摂動下での対抗的リスクとその経験的対応を定義する。
• 母集団リスクと経験的リスクを対抗的損失クラスのラデマッハー複雑さに関連づける。
• 2値線形分類器における自然ラデマッハー複雑さと対抗的ラデマッハー複雑さを比較する境界を導く。
• マルチクラス線形分類器へ拡張し、マージンベースの境界を得る。
• ノルム制約下での対抗的ラデマッハー複雑さにおける次元依存性を示すためにニューラルネットワークを分析する。
• 1層のReLUネットワークに対する代理対抗損失を研究し、L1制約下でマージン境界を証明する。

実験結果

リサーチクエスチョン

• RQ1 L-infinity攻撃下の二値線形分類に対する対抗的ラデマッハー複雑さの厳密な境界は何か？
• RQ2 線形および多クラス線形分類器における対抗的ラデマッハー複雑さは自然設定とどのように比較されるか？
• RQ3 ニューラルネットワークにおける対抗設定でどのような次元依存性が現れ、L1のようなノルム制約で緩和できるか？
• RQ4 対抗摂動下でマージン境界は多クラスおよびニューラルネットワークモデルに存在するか、どの条件下で？
• RQ5 代理対抗損失（例：SDP緩和など）は限られた次元依存性で有利なマージン境界を生み出せるか？

主な発見

• 対抗的ラデマッハー複雑さは自然設定の対応物より決して小さくならず、対抗的一般化の固有の難しさを示している。
• Lp制約（p≥1）を持つ二値線形分類器の場合、p=1でない限り対抗的複雑さには避けられない多項式の次元依存がある。
• 多クラス線形分類器では、重みの有界なlpノルム（p>1）を持つ場合、対抗摂動下のマージン境界も同様の次元依存を示す。
• ニューラルネットワークの分析は、いくつかの自然設定の境界と異なり、次元依存性を明示した対抗的ラデマッハー複雑さの下限を示す。
• SDP緩和を用いた代理対抗損失は、第一層の重みが有界なL1ノルムを持つ場合、次元依存を回避するマージン境界をもたらす。
• 実験結果は、L1正則化が対抗的一般化誤差を低減し、対抗ギャップが入力次元とともに増大することを支持する。