[論文レビュー] Pure and Spurious Critical Points: a Geometric Study of Linear Networks

Matthew Trager, Kathlén Kohn+1 more|arXiv (Cornell University)|Oct 3, 2019

Graph theory and applications参考文献 23被引用数 4

ひとこと要約

本稿は、線形ネットワークの関数的空間に起因する純粋な臨界点（pure critical points）と、パラメータ化に起因する偽臨界点（spurious critical points）を区別する幾何的枠組みを導入する。充填アーキテクチャ（すべての線形写像を表現可能）では、任意の滑らかで凸な損失関数に対して悪い局所的最小値が存在しないことを証明する。一方、ランク制約付きの関数的空間を持つ非充填アーキテクチャでは、特異的幾何的性質を持つ行列式多様体（determinantal varieties）のおかげで、唯一の2次損失関数が悪い最小値を保証しない。

ABSTRACT

The critical locus of the loss function of a neural network is determined by the geometry of the functional space and by the parameterization of this space by the network's weights. We introduce a natural distinction between pure critical points, which only depend on the functional space, and spurious critical points, which arise from the parameterization. We apply this perspective to revisit and extend the literature on the loss function of linear neural networks. For this type of network, the functional space is either the set of all linear maps from input to output space, or a determinantal variety, i.e., a set of linear maps with bounded rank. We use geometric properties of determinantal varieties to derive new results on the landscape of linear networks with different loss functions and different parameterizations. Our analysis clearly illustrates that the absence of "bad" local minima in the loss landscape of linear networks is due to two distinct phenomena that apply in different settings: it is true for arbitrary smooth convex losses in the case of architectures that can express all linear maps ("filling architectures") but it holds only for the quadratic loss when the functional space is a determinantal variety ("non-filling architectures"). Without any assumption on the architecture, smooth convex losses may lead to landscapes with many bad minima.

研究の動機と目的

• 線形ネットワークが非凸性にもかかわらず悪い局所的最小値を避けがちな長年の謎を解明すること。
• 関数的空間に起因する臨界点（純粋な臨界点）とパラメータ化に起因する臨界点（偽臨界点）を正式に区別すること。
• 特に行列式多様体を用いた代数幾何学的手法を用いて、線形ネットワークの損失関数の形状を解析すること。
• 滑らかで凸な損失関数が線形ネットワークにおいて非グローバル最小値を持たない条件を明確にすること。
• 2つの異なる幾何的メカニズムが悪い最小値の不在をもたらすことを特定することで、線形ネットワーク最適化に関する先行研究を統合すること。

提案手法

• パラメータ空間 → 関数的空間 → R という合成関数としての損失関数の分解を導入し、関数的空間を線形写像の集合とする。
• 純粋な臨界点を関数的空間の幾何構造によってのみ決定されるものと定義し、偽臨界点をパラメータ化写像の副産物と定義する。
• 線形ネットワークにおける臨界点を特定するために、行列乗算の微分を解析する。
• 特に特異点と曲率を特徴づける行列式多様体（ランク制約付き線形写像）を代数幾何学的手法で分析する。
• ヘッセ行列の固有多項式を計算し、負の固有値の数を数えるためにシュール補行列と固有値解析を適用する。
• 固有多項式の明示的計算を通じて、ヘッセ行列に負の固有値が存在しない（＝悪い局所的最小値がない）条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 線形ネットワークにおける非グローバル局所的最小値の不在の原因は何か？この現象はすべての損失関数に普遍的に成立するか？
• RQ2 関数的空間の幾何的性質（例：行列式多様体）は損失関数の形状にどのように影響するか？
• RQ3 どのような状況で偽臨界点が支配的となり、どのような状況で存在しないか？
• RQ4 なぜ非充填アーキテクチャにおいて2次損失関数だけが悪い最小値を避けるのか？他の凸損失関数ではそのような保証が得られないのはなぜか？
• RQ5 純粋な臨界点と偽臨界点の区別が、線形ネットワーク最適化に関する先行研究を説明できるか？

主な発見

• 充填アーキテクチャ（すべての線形写像を表現可能）では、任意の滑らかで凸な損失関数に対して悪い局所的最小値が存在しない。
• 非充填アーキテクチャ（関数的空間が行列式多様体である）では、唯一2次損失関数が悪い局所的最小値を保証しない。
• 2次損失関数の場合に悪い最小値が存在しないのは、一般の凸性によるものではなく、行列式多様体の特異的幾何的性質による。
• 非充填アーキテクチャにおける任意の滑らかで凸な損失関数では、非グローバル局所的最小値が多数存在する可能性がある。
• ヘッセ行列の負の固有値の数（悪い局所的最小値を示す）は、入力層と出力層の相対的特異値に依存する。
• ヘッセ行列の固有多項式を明示的に計算し、特異値の代数的解析を通じて負の根（悪い局所的最小値に対応）の数を数える。