[論文レビュー] Gradient Descent Maximizes the Margin of Homogeneous Neural Networks

Kaifeng Lyu, Jian Li|arXiv (Cornell University)|Jun 13, 2019

Stochastic Gradient Optimization Techniques参考文献 70被引用数 57

ひとこと要約

その論文は、勾配降下/流が均質ニューラルネットワーク上で、正規化マージンを暗黙的に最大化し、単調に平滑化されたマージンが max-margin 問題の KKT 点へ収束することを示し、実験での損失/重みの成長率を実証的に示す。

ABSTRACT

In this paper, we study the implicit regularization of the gradient descent algorithm in homogeneous neural networks, including fully-connected and convolutional neural networks with ReLU or LeakyReLU activations. In particular, we study the gradient descent or gradient flow (i.e., gradient descent with infinitesimal step size) optimizing the logistic loss or cross-entropy loss of any homogeneous model (possibly non-smooth), and show that if the training loss decreases below a certain threshold, then we can define a smoothed version of the normalized margin which increases over time. We also formulate a natural constrained optimization problem related to margin maximization, and prove that both the normalized margin and its smoothed version converge to the objective value at a KKT point of the optimization problem. Our results generalize the previous results for logistic regression with one-layer or multi-layer linear networks, and provide more quantitative convergence results with weaker assumptions than previous results for homogeneous smooth neural networks. We conduct several experiments to justify our theoretical finding on MNIST and CIFAR-10 datasets. Finally, as margin is closely related to robustness, we discuss potential benefits of training longer for improving the robustness of the model.

研究の動機と目的

• 均質ニューラルネットワーク（ReLU/LeakyReLU、バイアスの有無を問わず）における勾配降下/フローの暗黙的正則化を調査する。
• 自然な仮定の下で、滑らかな正規化マージンが時間とともに増加し、max-margin 目的に収束することを示す。
• 収束特性、損失減衰の速度、重みの成長、およびマージンベースの最適性（KKT 点）との関係を特徴づける。
• MNISTとCIFAR-10で実証的検証を提供し、長時間訓練のロバスト性への示唆を議論する。

提案手法

• 指数型損失（クロスエントロピー/ロジスティックを含む）下での均質ネットワークに対する勾配流/勾配降下を分析する。
• q_min( )/||btheta||^L によって正規化マージン ar{b3} を定義し、LogSumExp を用いてその滑らかな版 tilde{b3} を研究する。
• tilde{b3}（および勾配降下の場合の hat{b3}）が訓練開始後 t0 の後に非減少であり、L(btheta(t)) 0a 0 で、||btheta(t)|| が発散的に大きくなることを証明する。
• 正規化パラメータ方向の極限点が margin-maximization 問題 (P) の KKT 点と一致することを示す。
• 損失減衰と重みの成長の厳密な漸近レートを導出し、極限点で NTK カーネルを用いた max-margin SVM との関係を明らかにする。
• 結果をより広い損失クラス（ロジスティック、クロスエントロピー、指数尾）および多重均質ネットワークへ拡張する。

実験結果

リサーチクエスチョン

• RQ1 均質ネットワークにおける勾配降下/フローは解を max-margin 方向へバイアスするのか？
• RQ2 滑らかな正規化マージンを非減少と証明でき、マージン最適性条件へ収束するのか？
• RQ3 これらのダイナミクスの下で訓練損失と重みのノルムの漸近的振る舞いはどうなり、極限点は margin-maximization 問題の KKT 条件をどの程度満たすのか？
• RQ4 これらの理論結果は広い損失関数や多重均質アーキテクチャへどの程度拡張できるのか？
• RQ5 実証的実験はマージン最大化の挙動と長時間訓練の潜在的なロバスト性の利点を支持するのか？

主な発見

• 正規化マージンはグローバルに単調ではないが、t0 の後に非減少となり、訓練が進むにつれて真の正規化マージンへ収束する滑らかな版が存在する。
• 前述の仮定の下で、訓練損失は零に近づき、重みのノルムは限界なく大きくなり、滑らかなマージンは実際のマージンへの密な近似を提供する。
• パラメータ方向の極限点は margin-maximization 問題の KKT 点と一致しており、勾配ダイナミクスによる暗黙のマージン最大化を示唆する。
• このアプローチは指数尾を持つ広い損失クラス（ロジスティックおよびクロスエントロピーを含む）および多重均質ネットワークへ拡張しても、マージン最大化の挙動を保つ。
• MNISTとCIFAR-10 の実験では、長時間訓練により正規化マージンが増加し、特に損失ベースの学習率スケジュールで L2-ロバスト性が改善されることが示された。
• 理論的成果は線形モデルに関する既存研究を深い均質ネットワークへ一般化し、損失および重みの成長の明示的な収束レートを提供する。