[論文レビュー] Improved Sample Complexities for Deep Networks and Robust Classification via an All-Layer Margin

Colin Wei, Tengyu Ma|arXiv (Cornell University)|Oct 9, 2019

Adversarial Robustness in Machine Learning参考文献 63被引用数 28

ひとこと要約

この論文は、すべての層にわたるマージンを正規化することで、深層ニューラルネットワークにおけるよりタイトで深さに依存しない一般化境界を可能にする、新しい一般化測度「オールレイヤーマージン」を導入する。これは、標準的およびロバストな一般化におけるより良いサンプル複雑性を達成し、このマージンを明示的に最大化することで、クリーンおよび敵対的にロバストなテスト精度を向上させる訓練アルゴリズム（AMO）を提案する。

ABSTRACT

For linear classifiers, the relationship between (normalized) output margin and generalization is captured in a clear and simple bound -- a large output margin implies good generalization. Unfortunately, for deep models, this relationship is less clear: existing analyses of the output margin give complicated bounds which sometimes depend exponentially on depth. In this work, we propose to instead analyze a new notion of margin, which we call the "all-layer margin." Our analysis reveals that the all-layer margin has a clear and direct relationship with generalization for deep models. This enables the following concrete applications of the all-layer margin: 1) by analyzing the all-layer margin, we obtain tighter generalization bounds for neural nets which depend on Jacobian and hidden layer norms and remove the exponential dependency on depth 2) our neural net results easily translate to the adversarially robust setting, giving the first direct analysis of robust test error for deep networks, and 3) we present a theoretically inspired training algorithm for increasing the all-layer margin. Our algorithm improves both clean and adversarially robust test performance over strong baselines in practice.

研究の動機と目的

• 線形モデルとは異なり、マージンと一般化の間の明確で解釈可能な関係が欠如している深層ネットワークにおけるこの問題に対処すること。
• ネットワークの深さに指数関数的に依存するか、複雑な正規化要因を含む既存の一般化境界を克服すること。
• 敵対的ロバスト分類設定へのマージン解析を拡張し、敵対的テスト誤差に対する初めての直接的な一般化境界を提供すること。
• オールレイヤーマージンを最大化することで一般化を向上させる理論的裏付けに基づいた訓練アルゴリズムの開発

提案手法

• すべての層における最小マージンを、各層の複雑さ（重みノルムやカバー数など）で正規化した「オールレイヤーマージン」を提案する。
• 一般化境界（定理2.3）を導出する。この境界は線形ケースに類似しており、テスト誤差が（複雑さの和／オールレイヤーマージン）²の平均に比例する形となり、深さに指数関数的に依存しない。
• 出力マージンと局所的リプシッツ定数を用いてオールレイヤーマージンの下界を確立し、データ依存のよりタイトな境界を可能にする。
• ℓ∞-ボール内での摂動入力に対して、ロバストなオールレイヤーマージンを定義することで、敵対的設定へのオールレイヤーマージンの拡張を実現する。
• 同じ一般化フレームワークをロバスト分類に適用し、データ依存項を敵対的近傍における最悪値に置き換えた境界を導出する。
• バックプロパゲーション中にオールレイヤーマージンを最大化するように最適化する、敵対的正則化訓練アルゴリズム（AMO）を開発する。

実験結果

リサーチクエスチョン

• RQ1 線形モデルのように一般化を明確に捉えることができる、深層ネットワークにおける統一的なマージン概念を定義できるか？
• RQ2 ネットワークの深さに指数関数的に依存しない、深層ネットワークの一般化境界を導出できるか？
• RQ3 オールレイヤーマージンフレームワークを、敵対的ロバストモデルの一般化保証に拡張できるか？
• RQ4 オールレイヤーマージンを最大化することに基づく訓練アルゴリズムは、クリーンおよびロバストなテスト性能の両方を向上させられるか？

主な発見

• オールレイヤーマージンにより、深さに指数関数的に依存しない一般化境界（定理2.3）が得られ、線形ケースに類似した形をとる。
• ReLUネットワークにおいて、先行研究（Nagarajan & Kolter, 2019）に見られる逆の前活性化依存性が排除され、よりタイトで実用的な保証が得られる。
• ロバスト分類のための一般化境界（定理4.1）は、敵対的テスト誤差に対する初めての直接的分析であり、クリーン一般化境界と同様の構造を持つが、最悪ケースの近傍量を用いる。
• 提案されたAMO訓練アルゴリズムは、VGG-19を用いたCIFAR-10でクリーンテスト誤差を0.6パーセンテージポイント改善（5.66%から5.06%）し、WideResNet28-10ではロバスト誤差を最大0.98パーセンテージポイント低減する。
• ドロップアウトで最適化された確率を調整しても、CIFAR-100のWRN28-10でドロップアウトを上回り、誤差を0.99%低減（18.77%から17.78%）する。
• ハイパーパramータの選択に強く依存せず、摂動ステップ数$t$や学習率$η_{\text{perturb}}$の異なる値に対しても性能が安定している。