[論文レビュー] A Local Convergence Theory for Mildly Over-Parameterized Two-Layer Neural Network

Mo Zhou, Rong Ge+1 more|arXiv (Cornell University)|Feb 4, 2021

Neural Networks and Applications参考文献 15被引用数 7

ひとこと要約

この論文は、やや過パラメータ化された2層ニューラルネットワークにおけるローカル収束理論を確立し、損失が分離パラメータおよび幅パラメータの多項式関数で表される閾値未満である場合、勾配降下法がすべての学生ニューロンが教師ニューロンと整合するグローバル最適解に収束することを示している。主な貢献は、特別なロジャスエヴィッチ型勾配性質に基づく最適化の形状の新規特徴付けであり、これによりネットワークサイズに依存しない収束が可能となり、ニューラル接線カーネル（NTK）の枠組みを超えて有効である。

ABSTRACT

While over-parameterization is widely believed to be crucial for the success of optimization for the neural networks, most existing theories on over-parameterization do not fully explain the reason -- they either work in the Neural Tangent Kernel regime where neurons don't move much, or require an enormous number of neurons. In practice, when the data is generated using a teacher neural network, even mildly over-parameterized neural networks can achieve 0 loss and recover the directions of teacher neurons. In this paper we develop a local convergence theory for mildly over-parameterized two-layer neural net. We show that as long as the loss is already lower than a threshold (polynomial in relevant parameters), all student neurons in an over-parameterized two-layer neural network will converge to one of teacher neurons, and the loss will go to 0. Our result holds for any number of student neurons as long as it is at least as large as the number of teacher neurons, and our convergence rate is independent of the number of student neurons. A key component of our analysis is the new characterization of local optimization landscape -- we show the gradient satisfies a special case of Lojasiewicz property which is different from local strong convexity or PL conditions used in previous work.

研究の動機と目的

• やや過パラメータ化された2層ニューラルネットワークが実際にはなぜグローバル最適解に収束するのかを説明すること。
• 学生ネットワークのニューロン数が教師ネットワークのそれと僅かに大きい場合のローカル収束に関する理解のギャップを埋めること。
• ニューラル接線カーネル（NTK）の枠組みとは異なり、ニューロンが初期値から大きく動く可能性がある理論を構築すること。
• 強い凸性やPL条件とは異なる、新しい勾配性質を用いてローカル最適化の形状を特徴づけること。
• 学生ニューロンの数に依存しない収束レートを伴うグローバル最適解への収束を証明すること。

提案手法

• グローバル最適解の近傍で勾配の振る舞いを支配する特殊なロジャスエヴィッチ性質のケースに基づく、新たなローカル最適化の形状特徴付けを導入する。
• 分離度Δと教師ニューロン数rに基づき、τ = poly(Δ/r)という閾値を定義し、これ未満では収束が保証される。
• 勾配降下法を用い、ステップサイズη ≤ O(min{r^{-1/2}w_{max}^{-1/2}κ, r^{-1}w_{max}^{-1}})を満たすことで、降下と収束を保証する。
• 有限標本推定を用いて確率的勾配の集中を示し、データサンプリング誤差に対してもロバスト性を確保する。
• 閾値未満では損失がO(1/t)のレートで減少し、損失がゼロに収束することを証明する。
• ロジャスエヴィッチ型条件を活用し、ネットワーク幅に依存しない損失二乗の線形収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 初期損失が特定の閾値未満である場合、勾配降下法はやや過パラメータ化された2層ネットワークでグローバル最適解に収束するか？
• RQ2 学生ニューロン数が教師ニューロン数以上であれば、その数にかかわらず収束挙動がロバストであるか？
• RQ3 強い凸性やPL条件に依存せずに収束を可能にするローカル最適化の形状の性質は何か？
• RQ4 収束レートはネットワーク幅や初期値にどのように依存するか？また、ニューロン数に依存しないレートは達成可能か？
• RQ5 理論が、実際の学習で観察される学生ニューロンが教師ニューロンの方向に一致する現象を説明できるか？

主な発見

• 論文は、訓練損失がτ = poly(Δ/r)未満である場合、勾配降下法がすべての学生ニューロンが教師ニューロンの方向と一致するグローバル最適解に収束することを証明している。
• 収束は、学生ニューロン数に依存しないO(1/t)のレートで発生し、ネットワークがやや過パラメータ化されている場合でも成立する。
• 主なメカニズムは、グローバル最適解の近傍で成り立つ、PLや強い凸性とは異なる新規のロジャスエヴィッチ型勾配性質である。
• 収束閾値τは、学生ネットワークのサイズに依存せず、分離度Δと教師ニューロン数rにのみ依存する。
• 解析は任意の学生ニューロン数≥rに対して有効であり、有限標本の確率的勾配推定に対しても収束レートはロバストである。
• 理論は、ニューロンが初期値から大きく動く過パラメータ化された設定でも、ニューロンの一致現象を説明できる。