[論文レビュー] Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss

Lénaïc Chizat, Francis Bach|arXiv (Cornell University)|Feb 11, 2020

Stochastic Gradient Optimization Techniques参考文献 49被引用数 90

ひとこと要約

本論文は、指数尾を持つ損失を用いた無限に広い2層ネットワークに対する勾配流の暗黙のバイアスを特徴づけ、非ヒルベルト空間におけるマックスマージン分類器への収束を示し、出力層のみを訓練する場合と両方の層を訓練する場合を経験的検証とともに比較する。

ABSTRACT

Neural networks trained to minimize the logistic (a.k.a. cross-entropy) loss with gradient-based methods are observed to perform well in many supervised classification tasks. Towards understanding this phenomenon, we analyze the training and generalization behavior of infinitely wide two-layer neural networks with homogeneous activations. We show that the limits of the gradient flow on exponentially tailed losses can be fully characterized as a max-margin classifier in a certain non-Hilbertian space of functions. In presence of hidden low-dimensional structures, the resulting margin is independent of the ambiant dimension, which leads to strong generalization bounds. In contrast, training only the output layer implicitly solves a kernel support vector machine, which a priori does not enjoy such an adaptivity. Our analysis of training is non-quantitative in terms of running time but we prove computational guarantees in simplified settings by showing equivalences with online mirror descent. Finally, numerical experiments suggest that our analysis describes well the practical behavior of two-layer neural networks with ReLU activation and confirm the statistical benefits of this implicit bias.

研究の動機と目的

• 過剰パラメータ化されたニューラルネットが勾配法で訓練されると、なぜ一般化が良好になるのかを理解する動機づけ。
• 2-同次活性化を持つ無限に広い2層ネットワークにおける勾配流の極限挙動を特徴づける。
• 学習された分類器が variation-norm 空間におけるマックスマージン解であることを示す。
• 両方の層を訓練する場合と出力層のみを訓練する場合を比較し、一般化への影響を分析する。
• ReLUベースの2層ネットワークに関する理論的所見を裏付ける数値的証拠を提供する。

提案手法

• 予測子を2-同次活性化を持つ有限幅の2層ネットワークとバランスの取れた構造としてモデル化する。
• 測度ベースの凸再形成を用いて、予測子を variation norm 1 およびその max-margin 1()1 目的として記述する。
• 無限幅極限をパラメータ上の確率測度に対する Wasserstein 勾配流として特徴づける。
• 適切な仮定の下で、訓練ダイナミクスの極限が 1-max-margin 問題の最大化解をもたらすことを証明する。
• RKHS フレームワーク 2 との対比を行い、出力層のみを訓練する場合の計算上の側面について議論する。
• 単純化したダイナミクスにおける収束速度とオンラインミラー降下法との関連を議論する。

実験結果

リサーチクエスチョン

• RQ1 指数尾を持つ損失に対する勾配流は、1 variation-norm 関数空間でグローバルな max-margin 解へ収束するのか？
• RQ2 暗黙のバイアスの観点から、両方の層を同時に訓練する場合と出力層のみを訓練する場合で、訓練ダイナミクスはどのように異なるか？
• RQ3 内部に低次元構造を持つネットワークで、次元に依存しない一般化が確立できるか？
• RQ4 ReLU活性化を持つ広い2層ネットに対する数値実験は、理論的なマックスマージンの特徴付けと一致するか？

主な発見

• 指数尾を持つ損失を用いた無限に広い2層ネットワークの勾配流は、1 variation-norm 空間におけるマックスマージン分類器へ収束する。
• 隠れた低次元構造を持つ場合、得られるマージンは周囲の次元に依存せず、強い一般化保証を可能にする。
• 出力層のみの訓練は、カーネルSVMを 2 RKHS に暗黙的に解くことになり、1 マージンほどの適応性を欠く可能性がある。
• 簡略化された設定では、訓練ダイナミクスがオンラインミラーアセントと同等であり、収束速度はオーダー log(t)/sqrt(t)。
• 数値実験は、二層 ReLU ネットワークの実用的な挙動を説明し、暗黙のバイアスの統計的利点を裏付けることを示唆している。