[論文レビュー] A Geometric Approach of Gradient Descent Algorithms in Neural Networks.

Yacine Chitour, Zhenyu Liao+1 more|arXiv (Cornell University)|Nov 8, 2018

Stochastic Gradient Optimization Techniques参考文献 25被引用数 7

ひとこと要約

この論文は、線形ニューラルネットワークにおける勾配降下法を解析する幾何的枠組みを導入し、不変性の性質を活用して、グローバル最小値への収束を証明する。単一隠れ層ネットワークにおける『過適合予想』を、正規双曲性を用いて確立し、勾配降下法がほとんどすべてのデータと初期条件において最小二乗法と同等の結果を達成することを示す。

ABSTRACT

In this paper, we present an original geometric framework to analyze the convergence properties of gradient descent trajectories in the context of linear neural networks. Built upon a key invariance property induced by the network structure, we propose a conjecture called \emph{overfitting conjecture} stating that, for almost every training data, the corresponding gradient descent trajectory converges to a global minimum, for almost every initial condition. This would imply that, for linear neural networks of an arbitrary number of hidden layers, the solution achieved by simple gradient descent algorithm is equivalent to that of least square estimation. Our first result consists in establishing, in the case of linear networks of arbitrary depth, convergence of gradient descent trajectories to critical points of the loss function. Our second result is the proof of the \emph{overfitting conjecture} in the case of single-hidden-layer linear networks with an argument based on the notion of normal hyperbolicity and under a generic property on the training data (i.e., holding for almost every training data).

研究の動機と目的

• 線形ニューラルネットワークにおける勾配降下法の軌道を解析するための幾何的枠組みを構築すること。
• 任意の深さを持つ線形ネットワークにおいて、勾配降下法がグローバル最小値に収束するかどうかを調査すること。
• 『過適合予想』を証明すること—すなわち、ほとんどすべての学習データと初期条件において、勾配降下法がグローバル最小値に収束することを示すこと。
• 線形ネットワークにおける勾配降下法の解が、最小二乗推定と同等であることを確立すること。

提案手法

• 線形ネットワーク構造に由来する重要な不変性の性質を活用して、幾何的枠組みを定義する。
• 単一隠れ層ネットワークにおける臨界点の安定性を分析するために、正規双曲性の概念を適用する。
• 微分幾何学と力学系理論を用いて、勾配フロー軌道の収束を研究する。
• 学習データに一般性条件を課す（ほとんどすべてのデータセットで成立する）ことで、頑健な収束結果を保証する。
• 幾何学的・位相的ツールを用いて損失関数の臨界点を分析し、収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 深さを持つ線形ネットワークにおける勾配降下法は、ほとんどすべての初期条件と学習データに対してグローバル最小値に収束するか？
• RQ2 損失関数の幾何的構造は、なぜ線形ネットワークにおける勾配降下法が悪い局所最小値を避けるのかを説明できるか？
• RQ3 線形ネットワークにおける勾配降下法が、どのような条件下で最小二乗推定と同等の解をもたらすか？
• RQ4 正規双曲性は、単一層線形ネットワークにおける勾配軌道の安定性と収束にどのように寄与するか？

主な発見

• 任意の深さの線形ニューラルネットワークにおける勾配降下法の軌道は、損失関数の臨界点に収束する。
• 単一隠れ層線形ネットワークでは、学習データに一般性条件を課した下で『過適合予想』が証明される。
• 正規双曲性の理論を用いてグローバル最小値への収束が確立され、ほとんどすべての初期条件に対して頑健であることが保証される。
• 単一層線形ネットワークでは、ほとんどすべての学習データに対して、勾配降下法で得られる解が最小二乗推定と同等である。