[論文レビュー] A Critical View of Global Optimality in Deep Learning

Chulhee Yun, Suvrit Sra+1 more|arXiv (Cornell University)|Feb 10, 2018

Neural dynamics and brain function参考文献 9被引用数 21

ひとこと要約

この論文は、深層線形および非線形ネットワークの損失関数の形状を分析することで、深層学習におけるグローバル最適性の問題を批判的に検討している。深層線形ネットワークに関しては、臨界点が線形パラメータ化からの構造的性質を継承することを示し、グローバル最小値とサドルポイントを区別可能であることを証明している。非線形ネットワークにおいては、ReLUに類似した活性化関数を用いる場合、実用的なデータセット上に無限個の非最適な局所最小値が存在することを示し、局所最小値がグローバル最小値よりも著しく劣っている例を構築することで反例を提示している。

ABSTRACT

We investigate the loss surface of deep linear and nonlinear neural networks. We show that for deep linear networks with differentiable losses, critical points after the multilinear parameterization inherit the structure of critical points of the underlying loss with linear parameterization. As corollaries we obtain minima are results that subsume most previous results, while showing how to distinguish global minima from saddle points. For nonlinear neural networks, we prove two theorems showing that even for networks with one hidden layer, there can be spurious local minima. Indeed, for piecewise linear nonnegative homogeneous activations (e.g., ReLU), we prove that for almost all practical datasets there exist infinitely many local minima that are not global. We conclude by constructing a counterexample involving other activation functions (e.g., sigmoid, tanh, arctan, etc.), for which there exists a local minimum strictly inferior to the global minimum.

研究の動機と目的

• 深層線形および非線形ニューラルネットワークにおける臨界点の構造を調査すること。
• グローバル最小値がサドルポイントや非最適な局所最小値から信頼性高く識別可能かどうかを特定すること。
• 一般的な非線形活性化関数を用いる実用的な深層学習の設定において、偽の局所最小値がどれほど広範に存在するかを検討すること。
• 局所最小値がグローバル最小値よりも著しく劣っている明示的な反例を構築すること。

提案手法

• 多線形パラメータ化下での深層線形ネットワークの損失関数の形状を分析し、臨界点が線形パラメータ化の臨界点と関連することを明らかにする。
• 微分幾何学および最適化理論を用いて、線形ネットワークにおける臨界点の構造を特徴づける。
• 微分可能で、区分的線形かつ非負の同次的活性化関数（例：ReLU）を備えた1層隠れ層ネットワークに対して、グローバル最小値でない無限個の局所最小値が存在することを証明する。
• 非多角形活性化関数（例：シグモイド、tanh、arctan）を用いた明示的反例を構築し、局所最小値がグローバル最小値よりも著しく劣っていることを示す。
• 測度論的議論を適用し、実用的なデータセットのほとんどにおいて、このような非最適な最小値が広く存在することを示す。

実験結果

リサーチクエスチョン

• RQ1 多線形パラメータ化を用いる深層線形ネットワークにおいて、グローバル最小値をサドルポイントから識別できるか？
• RQ2 実用的なデータセット上において、ReLUに類似した活性化関数を用いる非線形深層ネットワークに非最適な局所最小値が存在するか？
• RQ3 深層ネットワークにおける局所最小値がグローバル最小値よりも著しく劣っていることはあり得るか？そのような状況はどのような条件下で生じるか？
• RQ4 活性化関数の選択が、偽の局所最小値の存在およびその深刻さにどのように影響するか？

主な発見

• 微分可能な損失関数を伴う深層線形ネットワークにおいて、多線形パラメータ化下の臨界点は、線形パラメータ化の臨界点の構造を継承しており、グローバル最小値の明確な識別が可能である。
• ReLUに類似した活性化関数を備えた1層隠れ層非線形ネットワークにおいて、ほとんどすべての実用的なデータセット上に、グローバル最小値でない無限個の局所最小値が存在する。
• シグモイド、tanh、arctanなどの特定の非線形活性化関数に対して、明示的な反例を構築することで、局所最小値がグローバル最小値よりも著しく劣っていることが示された。
• これらの結果から、深層学習の学習におけるグローバル最適性の仮定は、標準的な非線形性を備えた比較的単純なアーキテクチャでさえも保証されないことが示された。