[論文レビュー] The critical locus of overparameterized neural networks

Yaim Cooper|arXiv (Cornell University)|May 8, 2020

Stochastic Gradient Optimization Techniques参考文献 17被引用数 4

ひとこと要約

この論文は、過パラメータ化されたフィードフォワードニューラルネットワークにおける臨界点の幾何構造を調査し、正次元の「スター・ローカス」S とその内部に存在する退化したコア・ローカス C を同定する。深層ネットワーク（深さ ℓ ≥ 4）において、C に属する臨界点が正確に1つの非ゼロヘッセ固有値をもち、退化していることを証明し、ゼロ固有値の数が幅 m に対して線形に増加することを示しており、勾配降下法がグローバル最小値に収束しない理由の基礎的洞察を提供する。

ABSTRACT

Many aspects of the geometry of loss functions in deep learning remain mysterious. In this paper, we work toward a better understanding of the geometry of the loss function $L$ of overparameterized feedforward neural networks. In this setting, we identify several components of the critical locus of $L$ and study their geometric properties. For networks of depth $\ell \geq 4$, we identify a locus of critical points we call the star locus $S$. Within $S$ we identify a positive-dimensional sublocus $C$ with the property that for $p \in C$, $p$ is a degenerate critical point, and no existing theoretical result guarantees that gradient descent will not converge to $p$. For very wide networks, we build on earlier work and show that all critical points of $L$ are degenerate, and give lower bounds on the number of zero eigenvalues of the Hessian at each critical point. For networks that are both deep and very wide, we compare the growth rates of the zero eigenspaces of the Hessian at all the different families of critical points that we identify. The results in this paper provide a starting point to a more quantitative understanding of the properties of various components of the critical locus of $L$.

研究の動機と目的

• 過パラメータ化された深層ニューラルネットワークにおける損失関数 L の臨界ローカスの幾何的構造を理解すること。
• 特に退化した臨界点を含む正次元の臨界点の族を特定・特徴づけること。
• 臨界ローカスの次元とゼロヘッセ固有値の数がネットワーク幅 m に対してどのようにスケーリングするかを定量化すること。
• 深層かつ非常に広いネットワークにおける、異なる臨界点の族の成長率を比較すること。
• グローバル最小値および非グローバル臨界点の文脈において、臨界点の退化に関する理論的境界を提供すること。

提案手法

• 深層ネットワーク（深さ ℓ ≥ 4）において、過パラメータ化アーキテクチャに内在する構造的対称性から、正次元の臨界ローカスとしてスター・ローカス S を同定する。
• ヘッセ固有値が正確に1つだけ非ゼロである退化臨界点の部分ローカスとして、コア・ローカス C ⊂ S を定義する。
• 代数幾何学とヘッセ解析を用いて、S と C の次元を計算し、dim(S) = (ℓ−3)m² + (a+1)m および dim(C) = (ℓ−4)m² + (a+1)m を示す。
• 結果 [Ngu19] および [LDS18] を応用し、非常に広いネットワークではすべての臨界点が退化しており、少なくとも (m−n+1)b 個のヘッセ固有値がゼロであることを示す。
• すべての臨界点におけるヘッセ固有値のゼロの数の下界を導出し、非グローバル最小値では m に対して線形に増加することを示す。
• m の増加に伴い、さまざまな臨界点の族における臨界ローカス次元とゼロ固有空間次元の漸近的成長を比較する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化された深層ニューラルネットワークにおける損失関数の臨界ローカスの幾何的およびトポロジカル的性質は何か？
• RQ2 深層非線形ネットワークに正次元の退化臨界点の族が存在しうるか。存在する場合、その次元は何か？
• RQ3 異なる種類の臨界点におけるヘッセ固有値のゼロの数は、ネットワーク幅 m とともにどのように増加するか？
• RQ4 ネットワーク幅が増加する際、グローバル最小値のローカス、スター・ローカス、および他の臨界ローカスの次元はどのように比較されるか？
• RQ5 退化性とヘッセ構造が、勾配降下法の収束行動にどのような制約を課えるか？

主な発見

• 深層ネットワーク（ℓ ≥ 4）において、スター・ローカス S は次元 (ℓ−3)m² + (a+1)m の正次元の臨界ローカスである。
• コア・ローカス C ⊂ S は、正確に1つの非ゼロヘッセ固有値をもつ退化臨界点から構成され、次元は (ℓ−4)m² + (a+1)m である。
• 非常に広いネットワークでは、すべての臨界点が退化しており、ヘッセ固有値に少なくとも (m−n+1)b 個のゼロ固有値が存在する。
• グローバル最小値でないすべての臨界点において、ヘッセ固有値のゼロの数は m に対して線形に増加する。
• グローバル最小値のローカス M は次元 d−bn であり、スター・ローカスや非グローバル臨界点のレベル集合内の線形部分空間よりも m に対して速く成長する。
• m が増加するに従い、グローバル最小値のローカスの次元が最も速く成長し、次にスター・ローカスが続き、非グローバル臨界点のレベル集合内の線形部分空間が続く。