[論文レビュー] On the Quality of the Initial Basin in Overspecified Neural Networks

Itay Safran, Ohad Shamir|arXiv (Cornell University)|Nov 13, 2015

Sparse and Compressive Sensing Techniques被引用数 7

ひとこと要約

この論文は、ランダム初期化を施した過剰パラメータ化されたReLUニューラルネットワークにおける損失関数の幾何的性質を調査する。ネットワーク幅が増加するにつれ、小さな目的関数値を持つ盆地に初期化される確率、あるいはグローバル最小値への単調減少経路に初期化される確率が顕著に上昇することを示しており、非凸性にもかかわらず過剰パラメータ化が最適化の取り扱いやすさを向上させることを示唆している。

ABSTRACT

Deep learning, in the form of artificial neural networks, has achieved remarkable practical success in recent years, for a variety of difficult machine learning applications. However, a theoretical explanation for this remains a major open problem, since training neural networks involves optimizing a highly non-convex objective function, and is known to be computationally hard in the worst case. In this work, we study the \emph{geometric} structure of the associated non-convex objective function, in the context of ReLU networks and starting from a random initialization of the network parameters. We identify some conditions under which it becomes more favorable to optimization, in the sense of (i) High probability of initializing at a point from which there is a monotonically decreasing path to a global minimum; and (ii) High probability of initializing at a basin (suitably defined) with a small minimal objective value. A common theme in our results is that such properties are more likely to hold for larger ("overspecified") networks, which accords with some recent empirical and theoretical observations.

研究の動機と目的

• 高次元非凸な損失関数を持つ過剰パラメータ化ニューラルネットワークが、なぜ最適化が容易であるのかを理解すること。
• 広いネットワークにおけるランダム初期化が、最適化に有利な領域に収束する可能性があるかどうかを調査すること。
• 実際の学習成功を説明できる幾何的性質（特に、単調減少経路や低最小値の盆地の存在）を損失関数の幾何的性質として同定すること。
• ネットワークが大きくなるにつれて学習が容易になるという直観を形式化し、幅が増加するにつれて好都合な初期化性質が出現することを示すこと。

提案手法

• 完全結合ReLUネットワークの損失関数の幾何的性質を、ランダム重み初期化のもとで分析する。
• 初期化点からグローバル最小値への連続的かつ厳密に単調に減少する経路の存在を幾何学的アプローチで検討する。
• 測度の集中とチェルノフの不等式を用いて、悪い盆地に初期化される確率が幅に従って指数関数的に減少することを示す。
• 指数的多数の局所最小値を有する明示的な反例を構築し、そのうち1つは値εのグローバル最小値であり、他のものはより高い値を持つ。
• 1次元の損失構成をd次元空間に拡張し、局所最小値が次元ごとに積構造を形成することを示す。
• 損失関数とデータにやや弱い仮定を置いた場合、目的関数値≤ c/4 の盆地に初期化される確率が e^(-d/16) のオーダーで減少することを示す。

実験結果

リサーチクエスチョン

• RQ1 過剰パラメータ化されたReLUネットワークにおけるランダム初期化は、最適化に有利な幾何的性質を持つ領域に収束する傾向があるか？
• RQ2 ランダム初期化点がグローバル最小値への連続的かつ単調に減少する経路にある確率はどの程度か？
• RQ3 最悪ケースの構成において、局所最小値の数とそれらの目的関数値はネットワーク幅とともにどのように変化するか？
• RQ4 最適でない局所最小値が存在する場合でも、より広いネットワークでは低損失盆地に初期化される可能性が高くなることを形式的に示せるか？
• RQ5 最適化ダイナミクスとは独立して、ネットワーク幅の関数として、損失関数の幾何的性質がどの程度好都合に現れるか？

主な発見

• ネットワーク幅が増加するにつれ、グローバル最小値への連続的かつ厳密に単調に減少する経路が存在する初期化点に初期化される確率は1に近づく。
• 目的関数値≤ c/4 の盆地に初期化される確率は、幅dに従って指数関数的に減少し、具体的には e^(-d/16) で上界が与えられる。
• 2^d 個の局所最小値を有するd次元の例では、唯一のグローバル最小値が値εを持ち、他のすべての最小値は劣化している。
• 最悪ケースの構成においても、悪い盆地（高い目的関数値）に初期化される確率は、幅が増加するにつれて指数関数的に減少する。
• 結果は、広いネットワークが学習が容易であるという経験的観察を支持しており、損失関数の幾何的性質の観点から、好都合な領域に初期化されやすくなるからである。
• 分析は、二乗損失や交差エントロピーなどの凸損失関数を有する標準的なReLUネットワークに適用可能であり、データと損失関数にやや弱い仮定を置いた場合に成り立つ。