[論文レビュー] Critical Points of Linear Neural Networks: Analytical Forms and Landscape Properties

Yi Zhou, Yingbin Liang|arXiv (Cornell University)|Feb 15, 2018

Sparse and Compressive Sensing Techniques参考文献 23被引用数 43

ひとこと要約

本稿は、線形ニューラルネットワークにおける平方損失の臨界点およびグローバルミニマの完全な解析的特徴付けを提供し、偽の局所的ミニマを有しないことを証明している。さらに、1層のReLUネットワークは非グローバルな局所的ミニマを有することを示しており、線形ネットワークと非線形な浅層ネットワークの最適化の形状に根本的な違いがあることを明らかにしている。

ABSTRACT

Due to the success of deep learning to solving a variety of challenging machine learning tasks, there is a rising interest in understanding loss functions for training neural networks from a theoretical aspect. Particularly, the properties of critical points and the landscape around them are of importance to determine the convergence performance of optimization algorithms. In this paper, we provide a necessary and sufficient characterization of the analytical forms for the critical points (as well as global minimizers) of the square loss functions for linear neural networks. We show that the analytical forms of the critical points characterize the values of the corresponding loss functions as well as the necessary and sufficient conditions to achieve global minimum. Furthermore, we exploit the analytical forms of the critical points to characterize the landscape properties for the loss functions of linear neural networks and shallow ReLU networks. One particular conclusion is that: While the loss function of linear networks has no spurious local minimum, the loss function of one-hidden-layer nonlinear networks with ReLU activation function does have local minimum that is not global minimum.

研究の動機と目的

• 線形ニューラルネットワークにおける平方損失の臨界点およびグローバルミニマを解析的に特徴付けること。
• 線形ネットワークでグローバルミニマに到達するための必要十分条件を特定すること。
• 線形および浅層ReLUネットワークにおける損失関数の形状特性を調査すること。
• さまざまなネットワークアーキテクチャにおいて、偽の局所的ミニマが存在するかどうかを明確にすること。

提案手法

• 行列微分および特異値分解を用いて、線形ニューラルネットワークにおける臨界点の解析的形を導出すること。
• 固有値およびランク解析を用いて、臨界点がグローバルミニマーポイントであるための必要十分条件を確立すること。
• 臨界点の解析的形を用いて、損失関数のグローバル構造を分析すること。
• 線形ネットワークの形状と比較することで、1層のReLUネットワークへの解析を拡張すること。
• 行列最適化理論を活用して、臨界点周辺における損失関数の振る舞いを特徴付けること。
• 線形ネットワークとReLU活性化を持つネットワークの最適化の形状を比較し、偽の局所的ミニマの存在を特定すること。

実験結果

リサーチクエスチョン

• RQ1 線形ニューラルネットワークにおける平方損失の臨界点の解析的形は何か？
• RQ2 線形ネットワークにおいて、臨界点がグローバルミニマーポイントであるために必要な十分条件は何か？
• RQ3 1層のReLUネットワークの損失関数には、グローバルミニマでない局所的ミニマが存在するか？
• RQ4 線形ネットワークの形状特性と浅層ReLUネットワークの形状特性にはどのような違いがあるか？
• RQ5 ネットワークアーキテクチャのどのような構造的特性が、偽の局所的ミニマの存在または非存在を決定づけるか？

主な発見

• 線形ニューラルネットワークにおける平方損失の臨界点は、損失値および最適性条件を完全に特徴付ける明確な解析的形を持つ。
• 線形ネットワークにおける臨界点がグローバルミニマーポイントであるための条件は、解析的形から導出された特定のランクおよび特異値条件を満たすことである。
• 線形ネットワークには偽の局所的ミニマが存在しない—すべての局所的ミニマはグローバルミニマである。
• これに対して、1層のReLUネットワークにはグローバルミニマでない局所的ミニマが存在し、偽の解の存在を示している。
• 臨界点の解析的特徴付けにより、損失関数のグローバルな形状、特に線形ネットワークにおける悪い局所的ミニマの不在が完全に理解できるようになった。
• 本結果は、線形ネットワークと非線形な浅層ネットワークの最適化行動に根本的な違いがあることを明らかにし、ReLUネットワークは最適でない収束に陥りやすい傾向にある。