[論文レビュー] The loss landscape of overparameterized neural networks

Yaim Cooper|arXiv (Cornell University)|Apr 26, 2018

Stochastic Gradient Optimization Techniques参考文献 3被引用数 36

ひとこと要約

この論文は、パラメータ数が訓練データポイント数を上回る過パラメータ化されたニューラルネットワークにおいて、損失関数のグローバル・ミニマが次元 $ n - d $ の高次元部分多様体を形成することを示している。離散的な点ではなく、この幾何的構造が最適解におけるヘッセ行列のゼロ固有値の多様性を説明し、非凸性にもかかわらず深層学習の最適化がしばしば成功する理由を示している。

ABSTRACT

We explore some mathematical features of the loss landscape of overparameterized neural networks. A priori one might imagine that the loss function looks like a typical function from $\mathbb{R}^n$ to $\mathbb{R}$ - in particular, nonconvex, with discrete global minima. In this paper, we prove that in at least one important way, the loss function of an overparameterized neural network does not look like a typical function. If a neural net has $n$ parameters and is trained on $d$ data points, with $n>d$, we show that the locus $M$ of global minima of $L$ is usually not discrete, but rather an $n-d$ dimensional submanifold of $\mathbb{R}^n$. In practice, neural nets commonly have orders of magnitude more parameters than data points, so this observation implies that $M$ is typically a very high-dimensional subset of $\mathbb{R}^n$.

研究の動機と目的

• 過パラメータ化されたニューラルネットワークにおける損失関数の幾何的構造を理解すること。
• 高次元パラメータ空間においてグローバル・ミニマが通常は離散的な点であるという仮定に疑問を呈すること。
• パラメータ数 $ n $ が出力次元 $ d $ よりも大きいとき、グローバル・ミニマの集合が滑らかな $ n-d $ 次元部分多様体を形成することを証明すること。
• 損失関数の幾何的性質と、訓練済みモデルにおけるヘッセ行列のゼロ固有値という実証的観察との関連を明らかにすること。
• ReLU活性化関数を備えた順方向ネットワークにおいて、グローバル・ミニマが達成可能（すなわち、損失 = 0）である条件を確立すること。

提案手法

• 損失関数 $ L(w,b) = \sum (f_{w,b}(x_i) - y_i)^2 $ を $ \mathbb{R}^n $ から $ \mathbb{R} $ への滑らかな写像として理論的分析する。
• 微分幾何学の応用により、一般条件下で前像 $ M = L^{-1}(0) $ が滑らかな $ n-d $ 次元部分多様体であることを示す。
• 陰関数定理と正則値理論を用いて、グローバル・ミニマ集合の多様体構造を確立する。
• 最後の隠れ層の幅 $ h \geq d $ を満たすように、任意の $ d $ 点のデータセットを記憶可能な、滑らかなReLU活性化関数を備えたニューラルネットワークアーキテクチャを構築する。
• データおよび活性化関数にやや弱い仮定を置いた場合でも、このようなネットワークにおいてグローバル・ミニマの集合 $ M $ が空でなく滑らかであることを証明する。
• 各出力次元を別々に扱い、余次元を適切に調整することで、多クラス出力への結果の拡張を行う。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化されたニューラルネットワークの損失関数の損失関数の幾何的構造は、非離散的なグローバル・ミニマの集合を示すか？
• RQ2 過パラメータ化された状況下でのグローバル・ミニマの多様体の次元は何か？
• RQ3 このような状況下で、グローバル・ミニマにおける損失関数のヘッセ行列はどのように振る舞うか？
• RQ4 どのようなアーキテクチャ的および活性化関数的条件下で、ニューラルネットワークがゼロの訓練誤差を達成できるか？
• RQ5 損失関数の幾何的構造は、実証的に観察された多数のゼロヘッセ固有値を説明できるか？

主な発見

• パラメータ数 $ n $ が出力次元 $ d $ よりも大きいとき、グローバル・ミニマの集合 $ M = L^{-1}(0) $ は一般に $ \mathbb{R}^n $ の滑らかな $ n-d $ 次元部分多様体である。
• 任意のグローバル・ミニマ $ m \in M $ において、損失関数のヘッセ行列は正確に $ n-d $ 個のゼロ固有値、$ d $ 個の正の固有値、および負の固有値を含まず、ゼロでない固有値は持たない。
• ReLU活性化関数を備え、最後の層の幅が $ d $ 以上である順方向ネットワークにおいて、グローバル・ミニマは達成可能（すなわち、$ M $ は空でない）であり、滑らかな $ n-d $ 次元部分多様体を形成する。
• 関数 $ f_i $ が滑らかである限り、$ \sum |f_i(w,b) - y_i|^a $（$ a \geq 1 $）という形の広範な損失関数クラスに対しても結果は成り立つ。
• 特に、損失関数の幾何的構造、特に最小値の高次元多様体という性質が、訓練済みモデルにおける多数のゼロヘッセ固有値という実証的観察の理論的説明を提供する。
• 多様な出力に対しては、出力が $ \mathbb{R}^\ell $ に属する場合、最小値の多様体の余次元は $ \ell d $ に拡張される。