[論文レビュー] Spurious Valleys in Two-layer Neural Network Optimization Landscapes

Luca Venturi, Afonso S. Bandeira+1 more|arXiv (Cornell University)|Feb 18, 2018

Stochastic Gradient Optimization Techniques参考文献 48被引用数 50

ひとこと要約

この論文は、単一隠れ層ネットワークの固有次元を定義し、有限の固有次元が過parameter化状態で偽の谷を防ぐことを示し、無限の固有次元はそれを許すことを示す。偽の谷は存在する場合でも低リスクにあり、幅が大きくなると起こりにくくなる。

ABSTRACT

Neural networks provide a rich class of high-dimensional, non-convex optimization problems. Despite their non-convexity, gradient-descent methods often successfully optimize these models. This has motivated a recent spur in research attempting to characterize properties of their loss surface that may explain such success. In this paper, we address this phenomenon by studying a key topological property of the loss: the presence or absence of spurious valleys, defined as connected components of sub-level sets that do not include a global minimum. Focusing on a class of two-layer neural networks defined by smooth (but generally non-linear) activation functions, we identify a notion of intrinsic dimension and show that it provides necessary and sufficient conditions for the absence of spurious valleys. More concretely, finite intrinsic dimension guarantees that for sufficiently overparametrised models no spurious valleys exist, independently of the data distribution. Conversely, infinite intrinsic dimension implies that spurious valleys do exist for certain data distributions, independently of model overparametrisation. Besides these positive and negative results, we show that, although spurious valleys may exist in general, they are confined to low risk levels and avoided with high probability on overparametrised models.

研究の動機と目的

• ニューラルネットワークにおける非凸損失地形の理解を動機づける。
• 1隠れ層ネットワークにおける偽の谷の有無を特徴づける。
• アーキテクチャと最適化トポロジーを結びつける固有次元の概念を導入する。
• さまざまな活性化関数に対して過parameterizationが偽の谷を排除する条件を確立する。
• 景観特性の文脈で経験的リスクと母集団リスクを対比する。

提案手法

• 偽の谷を、グローバル最小値を含まない部分準位集合の連結成分として定義する。
• ネットワークの機能空間の複雑さを定量化するために上位固有次元と下位固有次元を導入する。
• 有限の固有次元が、十分に幅の広いネットワークに対して偽の谷の不存在を保証することを証明する。
• 無限の固有次元は、いくつかのデータ分布に対して偽の谷の存在を意味することを示す。
• 多項式活性化とERM設定に対する特殊な結果をコロラリーを用いて提供する。
• 線形および2次活性化に対する改善点を議論し、テンソル分解と関連づける。

実験結果

リサーチクエスチョン

• RQ1 1隠れ層ニューラルネットワークにおいて偽の谷はいつ出現し、または消失するのか。
• RQ2 過parameterizationの下でネットワークの固有次元は最適化ランドスケープにどう影響するのか。
• RQ3 活性化の種類をまたいで、母集団リスクと経験的リスク最小化の結果は異なるのか。
• RQ4 特定の活性化クラス（例：多項式、線形、二次）について過parameterizationが谷なし最適化を保証できるか。

主な発見

• 偽の谷は、隠れ幅 p が有限 dim*(σ,X) に対して上限固有次元 dim*(σ,X) 以上のとき発生しない。
• 多項式活性化では、十分な過parameterizationの下でERMと母集団リスクのいずれにも偽の谷は生じない；線形/二次活性化に対しては定数だけ厳密性がある。
• 非多項式で非負の活性化では、対立データ分布を構成することで任意の幅で偽の谷が存在し得る。
• 過parameterizationされたモデルでも偽の谷は生じ得るが、その測度は幅とともに減少し、低エネルギーの偽の谷は高確率で回避される。
• 線形ネットワークでは、任意の深さにおいて二乗損失で偽の谷は発生しない; 2次活性化で m=1 の場合、p ≥ 2n+1 で偽の谷を回避できる。