[論文レビュー] Gradient Descent on Two-layer Nets: Margin Maximization and Simplicity Bias

Kaifeng Lyu, Zhiyuan Li+2 more|arXiv (Cornell University)|Oct 26, 2021

Machine Learning and ELM被引用数 7

ひとこと要約

本稿では、初期化が小さい2層のLeaky ReLUネットワークにおける勾配フローが、ネットワーク幅にかかわらず、対称的で線形分離可能なデータに対して、グローバルなマージン最大化線形分類器に収束することを確立している。マージン最大化のグローバル最適性を証明し、勾配降下法が訓練の初期段階で線形解へ向かう単純さバイアスを理論的に裏付けている一方で、この挙動が単純なデータ操作に対しては壊れやすいことも示している。

ABSTRACT

The generalization mystery of overparametrized deep nets has motivated efforts to understand how gradient descent (GD) converges to low-loss solutions that generalize well. Real-life neural networks are initialized from small random values and trained with cross-entropy loss for classification (unlike the "lazy" or "NTK" regime of training where analysis was more successful), and a recent sequence of results (Lyu and Li, 2020; Chizat and Bach, 2020; Ji and Telgarsky, 2020) provide theoretical evidence that GD may converge to the "max-margin" solution with zero loss, which presumably generalizes well. However, the global optimality of margin is proved only in some settings where neural nets are infinitely or exponentially wide. The current paper is able to establish this global optimality for two-layer Leaky ReLU nets trained with gradient flow on linearly separable and symmetric data, regardless of the width. The analysis also gives some theoretical justification for recent empirical findings (Kalimeris et al., 2019) on the so-called simplicity bias of GD towards linear or other "simple" classes of solutions, especially early in training. On the pessimistic side, the paper suggests that such results are fragile. A simple data manipulation can make gradient flow converge to a linear classifier with suboptimal margin.

研究の動機と目的

• 小規模な初期化とロジスティック損失を用いて訓練された過パラメータ化された2層ReLUネットワークにおける勾配降下法の暗黙的バイアスを理解すること。
• 対称的で線形分離可能なデータの下で、2層のLeaky ReLUネットワークにおけるマージン最大化のグローバル最適性を確立すること。
• 訓練の初期段階で観察される勾配降下法の線形解への単純さバイアスを理論的に裏付けること。
• 最大マージンへの収束が、単純なデータ操作に対して頑健であるか、あるいは単純な操作によってこの挙動が破壊されるかを示すこと。

提案手法

• 対称的で線形分離可能なデータの下で、初期化が小さい2層のLeaky ReLUネットワークにおける勾配フローのダイナミクスを分析する。
• 段階的解析（特に、収束がKKT条件を満たすマージン最大化問題に至ることを示す後段階解析）を用いる。
• Grönwallの不等式と常微分方程式（ODE）理論を適用して、直交的に分離可能なデータの下で軌道の一意性を証明し、分岐のない経路を保証する。
• データの対称性（x がデータセットに含まれるならば -x も含まれる）を活用して、任意のグローバル最大マージン解が線形でなければならないことを証明する。
• 合成データセットを用いて最大マージン線形分類器への収束を経験的に検証し、SVMの性能と比較する。
• 平均場解析と被覆論理を用いて、無限幅の範囲を超えた結果の拡張を図る。

実験結果

リサーチクエスチョン

• RQ1 初期化が小さい2層のLeaky ReLUネットワークにおける勾配フローは、ネットワーク幅に依存せず、対称的で線形分離可能なデータに対してグローバル最大マージン解に収束するか？
• RQ2 勾配降下法が訓練の初期段階で線形分類器へ向かう単純さバイアスを示す理由は何か？ そして、この現象は理論的に裏付けられるか？
• RQ3 最大マージンへの収束は、データの摂動に対して頑健であるか？ あるいは、単純な操作によってこの挙動が破壊されるか？
• RQ4 訓練の後段階で導出されたKKT条件は、追加の構造的仮定の下で、グローバルマージン最適性を示すことができるか？

主な発見

• 対称的で線形分離可能なデータに対しては、2層のLeaky ReLUネットワークの任意のグローバル最大マージン解は、ネットワークが広くても線形でなければならない。
• 初期化が小さい2層のLeaky ReLUネットワークにおける勾配フローは、対称的データの下で、ネットワーク幅にかかわらずグローバル最大マージン線形分類器に収束する。
• 最大マージン解への収束は壊れやすい：単純なデータ操作によって、マージンが悪い部分的な線形分類器に収束する可能性がある。
• 経験的結果から、2層のLeaky ReLUネットワークは、10〜100点のさまざまなデータセットサイズにおいて、SVMの最大マージン分類器とほぼ同一のテスト誤差を達成しており、同じ意思決定境界に収束していることが確認された。
• 直交的に分離可能なデータの下で軌道の一意性が証明され、厳密なODEベースの収束議論が可能になった。
• 理論的結果はNTK領域を超えて拡張されており、小規模な初期化が特徴学習を引き起こし、グローバルマージン最適性に至ることを示しており、これはラージトレーニング領域とは対照的である。