[論文レビュー] Improved Sample Complexities for Deep Neural Networks and Robust Classification via an All-Layer Margin

Colin Wei, Tengyu Ma|arXiv (Cornell University)|Apr 30, 2020

Adversarial Robustness in Machine Learning参考文献 54被引用数 11

ひとこと要約

本稿では、一般化と明確で深さに依存しない関係を確立する、深層ニューラルネットワークのための新しいマージン概念「オールレイヤーマージン」を導入する。このマージンを分析することで、よりタイトな一般化バウンドを導出し、敵対的に頑健なテスト誤差の最初の直接的分析を可能にするとともに、オールレイヤーマージンを増加させることでテスト性能を向上させる訓練アルゴリズムを提案する。

ABSTRACT

For linear classifiers, the relationship between (normalized) output margin and generalization is captured in a clear and simple bound – a large output margin implies good generalization. Unfortunately, for deep models, this relationship is less clear: existing analyses of the output margin give complicated bounds which sometimes depend exponentially on depth. In this work, we propose to instead analyze a new notion of margin, which we call the “all-layer margin.” Our analysis reveals that the all-layer margin has a clear and direct relationship with generalization for deep models. We present three concrete applications of the all-layer margin: 1) by analyzing the all-layer margin, we obtain tighter generalization bounds for neural nets which depend on Jacobian and hidden layer norms and remove the exponential dependency on depth 2) our neural net results easily translate to the adversarially robust setting, giving the first direct analysis of robust test error for deep networks, and 3) we present a theoretically inspired training algorithm for increasing the all-layer margin and demonstrate that our algorithm improves test performance over strong baselines in practice.

研究の動機と目的

• 深層ニューラルネットワークにおける明確で深さに依存しない一般化理論の欠如に対処すること。
• 既存の出力マージン解析の限界を克服し、指数関数的深さ依存性を持つ複雑なバウンドを生じさせるものとは異なること。
• 敵対的頑健性に基づく一般化の直接的分析を可能にするマージンベースのフレームワークを構築すること。
• オールレイヤーマージンを最大化することでテスト性能を向上させる理論的裏付けをもつ訓練アルゴリズムを設計すること。

提案手法

• 最終出力層だけでなく、ネットワーク全体の各層の寄与を考慮する新しいマージン測度としてオールレイヤーマージンを提案する。
• 隠れ層活性化のノルムとネットワークのヤコビアンのノルムに依存する一般化バウンドを導出し、ネットワークの深さに指数関数的に依存するのを回避する。
• オールレイヤーマージン解析を敵対的頑健性の設定に適用し、頑健なテスト誤差に対する直接的なバウンドを可能にする。
• 最適化中にオールレイヤーマージンを明示的に増加させる訓練アルゴリズムを開発し、ネットワークパラメータに対する勾配ベースの更新を用いる。
• 標準的な訓練ダイナミクスを維持しながら、大きなオールレイヤーマージンを促進する正則化された訓練目的関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 標準的な出力マージンよりも、深層ネットワークにおける一般化をより明確に捉えることができるマージン概念を定義できるか？
• RQ2 オールレイヤーマージンは、既存の手法と比較してよりタイトで深さに依存しない一般化バウンドをもたらすか？
• RQ3 オールレイヤーマージンを用いることで、深層ネットワークにおける敵対的頑健性の最初の直接的理論的分析が可能になるか？
• RQ4 オールレイヤーマージンを最適化することで、実際の一般化性能が向上するか？

主な発見

• オールレイヤーマージンは、一般化と直接的かつ深さに依存しない関係を確立し、標準的な出力マージン解析に見られる曖昧さを解消する。
• オールレイヤーマージンを用いて導出した一般化バウンドは、隠れ層のノルムとヤコビアンのノルムに依存し、ネットワークの深さに指数関数的に依存しない。
• このフレームワークにより、深層ネットワークにおける頑健なテスト誤差の最初の直接的理論的分析が可能となり、敵対的頑健性の原理的アプローチが提供される。
• オールレイヤーマージンを最大化するように設計された提案された訓練アルゴリズムは、ベンチマークデータセットにおいて強力なベースラインと比較して、より優れたテスト性能を達成する。