[論文レビュー] The Effects of Mild Over-parameterization on the Optimization Landscape of Shallow ReLU Neural Networks

Itay Safran, Gilad Yehudai+1 more|arXiv (Cornell University)|Jun 1, 2020

Stochastic Gradient Optimization Techniques参考文献 28被引用数 6

ひとこと要約

本稿は、ガウス分布入力を用いた教師-生徒設定における浅いReLUネットワークの最適化のあり方について、わずか1〜2個のニューロンを追加するような軽微な過パラメータ化が最適化の地形に与える影響を調査する。理論的に、過パラメータ化によってグローバル最小値の周辺での局所的凸性や標準的な強い凸性が破られる一方で、非グローバル最小値が鞍点に変わることを示しており、これは勾配降下法が過パラメータ化された設定でより容易に成功する理由を説明している。

ABSTRACT

We study the effects of mild over-parameterization on the optimization landscape of a simple ReLU neural network of the form $\mathbf{x}\mapsto\sum_{i=1}^k\max\{0,\mathbf{w}_i^{ op}\mathbf{x}\}$, in a well-studied teacher-student setting where the target values are generated by the same architecture, and when directly optimizing over the population squared loss with respect to Gaussian inputs. We prove that while the objective is strongly convex around the global minima when the teacher and student networks possess the same number of neurons, it is not even \emph{locally convex} after any amount of over-parameterization. Moreover, related desirable properties (e.g., one-point strong convexity and the Polyak-Łojasiewicz condition) also do not hold even locally. On the other hand, we establish that the objective remains one-point strongly convex in \emph{most} directions (suitably defined), and show an optimization guarantee under this property. For the non-global minima, we prove that adding even just a single neuron will turn a non-global minimum into a saddle point. This holds under some technical conditions which we validate empirically. These results provide a possible explanation for why recovering a global minimum becomes significantly easier when we over-parameterize, even if the amount of over-parameterization is very moderate.

研究の動機と目的

• 軽微な過パラメータ化（例：n = k+1）が、パラメータの増加が最小限であるにもかかわらず、浅いReLUネットワークにおける最適化の成功確率を著しく向上させる理由を理論的に説明すること。
• 教師ネットワークに対して生徒ネットワークを過パラメータ化した際の損失地形における幾何的変化（特に凸性と曲率）を分析すること。
• 過パラメータ化後も、局所的強い凸性やポリャク＝ロジャシュエヴィッチ条件といった好都合な最適化特性が維持されるかどうかを同定すること。
• 過パラメータ化の下で非グローバル最小値がどのように変化するかを調査すること、特にそれが鞍点に変わるかどうかを検討すること。
• 標準的な凸性が失われても、ほとんどの方向で1点強い凸性が保たれるという事実に基づき、新たな最適化保証を確立すること。

提案手法

• 標準的なガウス分布入力のもとで、kニューロンの教師ネットワークに一致するように学習されるnニューロンの浅いReLUネットワークの母集団二乗損失目的関数を分析する。
• 角度に基づく重みベクトルの分析を含む幾何学的・代数的技法を用いて、2回微分可能なすべての点およびグローバル最小値を特徴付ける。
• n > k のとき、任意に小さい過パラメータ化であっても、グローバル最小値の周辺で損失関数が局所的凸でないことを証明する。
• ほとんどの方向で1点強い凸性を導入・活用し、小さな摂動を伴う勾配降下法の収束保証を新たに導出する。
• 1つのニューロンを同じ方向を持つ2つの成分に「分割」することで、非グローバル最小値が、降下方向を有する鞍点に変換されることを示す。
• 理論的結果に必要なニューロンノルムに関する技術的条件を、実験的に検証し、特に鞍点への変換条件の妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 浅いReLUネットワークにおいて、軽微な過パラメータ化がグローバル最小値の周辺での局所的凸性を保つのか？
• RQ2 ポリャク＝ロジャシュエヴィッチ条件や1点強い凸性といった標準的な最適化に有利な特性が、過パラメータ化後に局所的に保持されるのか？
• RQ3 生徒ネットワークのニューロン数が教師ネットワークより1つまたは2つ多い場合、非グローバル最小値はどのように変化するか？
• RQ4 標準的な凸性が失われても、ほとんどの方向で1点強い凸性が残っている場合、収束保証は依然として成立するのか？
• RQ5 鞍点の生成といった幾何的メカニズムが、軽微な過パラメータ化下での最適化ダイナミクスの改善を説明できるのか？

主な発見

• n > k のとき、任意に小さい過パラメータ化であっても、グローバル最小値の周辺で損失関数は局所的凸でない。これは、過小パラメータ化の場合とは対照的である。
• 過パラメータ化領域では、標準的な強い凸性やポリャク＝ロジャシュエヴィッチ条件も、グローバル最小値の周辺で局所的に成立しない。
• 局所的凸性の喪失にもかかわらず、損失関数はほとんどの方向で1点強く凸であるため、小さな摂動を伴う勾配降下法に対して新たな収束保証が得られる。
• 同じ方向を持つ2つの成分に1つのニューロンを「分割」することで、非グローバル最小値が、降下方向を有する鞍点に変換される。
• 非グローバル最小値が鞍点に変換される条件は、ニューロンノルムに関する技術的条件を満たす場合に成立し、これは実験的に裏付けられている。
• これらの結果は、浅いReLUネットワークにおける軽微な過パラメータ化が最適化成功を著しく向上させる理由を幾何学的に説明する。