[論文レビュー] Small nonlinearities in activation functions create bad local minima in neural networks

Chulhee Yun, Suvrit Sra+1 more|arXiv (Cornell University)|Feb 9, 2018

Neural Networks and Applications参考文献 40被引用数 32

ひとこと要約

この論文は、1層の隠れ層をもつニューラルネットワークの損失関数の形状において、ReLU、シグモイド、tanhのような小さな非線形性ですら、誤った局所的最小値（spurious local minima）を生じさせることを示している。最小限の仮定（非線形分離不可能なデータ）のもとで、著者たちは無限に多くの悪い局所的最小値の存在を構成的証明している。これは、非線形ネットワークにおいて局所的最小値が常にグローバルに最適であるという考えを揺るがすものである。

ABSTRACT

We investigate the loss surface of neural networks. We prove that even for one-hidden-layer networks with "slightest" nonlinearity, the empirical risks have spurious local minima in most cases. Our results thus indicate that in general "no spurious local minima" is a property limited to deep linear networks, and insights obtained from linear networks may not be robust. Specifically, for ReLU(-like) networks we constructively prove that for almost all practical datasets there exist infinitely many local minima. We also present a counterexample for more general activations (sigmoid, tanh, arctan, ReLU, etc.), for which there exists a bad local minimum. Our results make the least restrictive assumptions relative to existing results on spurious local optima in neural networks. We complete our discussion by presenting a comprehensive characterization of global optimality for deep linear networks, which unifies other results on this topic.

研究の動機と目的

• 非線形ニューラルネットワークに誤った局所的最小値が存在するかを調査し、局所的最小値がグローバルに最適であるという仮定に疑問を呈すること。
• ガウス分布のデータや実現可能性といった制限的な仮定に依存する先行研究の限界を是正すること。
• 実用的状況において、活性化関数のわずかな非線形性ですら、悪い局所的最小値を引き起こす可能性を示すこと。
• 深層線形ネットワークにおけるグローバル最適性の包括的特徴付けを提供し、非線形ケースと対比すること。
• 厳密な理論的枠組みを通じて、既存の線形ネットワークにおけるグローバル最適性に関する結果を統一・拡張すること。

提案手法

• 非線形分離不可能なデータという最小限の仮定のもとで、1層隠れ層を持つReLUネットワークにおける誤った局所的最小値の構成的証明。
• 行列分解とランク条件を活用し、全ネットワークのグローバル最適性を、合成重み行列 R に関する削減された経験的リスク関数 ℓ₀(R) に結びつける。
• 特異値分解（SVD）と行列摂動理論を用いて、全ネットワークの任意の局所的最小値が ℓ₀(R) の局所的最小値に対応することを示す（全行・列ランク条件を満たす場合）。
• ある点が全ネットワークの局所的最小値であり、中間の重み行列がフルランクであれば、合成重み行列 R は ℓ₀(R) の局所的最小値であることを証明する。
• 行列ランクとノルム制約を用いて、全ネットワークのグローバル最小値と ℓ₀(R) のグローバル最小値との間の同値性を確立する。
• これらの結果を応用し、深層線形ネットワークにおいてグローバル最小値が ℓ₀(R) の最小化と等価であることを示し、既存の文献における結果を統一する。

実験結果

リサーチクエスチョン

• RQ1 ReLU やシグモイドのような活性化関数におけるわずかな非線形性が、ニューラルネットワークに誤った局所的最小値を引き起こすか？
• RQ2 ガウス分布の入力データや実現可能性を仮定せず、最小限の仮定のもとで誤った局所的最小値を構成可能か？
• RQ3 『局所的最小値はグローバル最小値である』という性質は非線形ネットワークに対しても成り立つか、それとも線形ネットワークに限定されるのか？
• RQ4 全ネットワークの局所的最小値と合成重み行列の経験的リスク ℓ₀(R) の局所的最小値との関係は何か？
• RQ5 深層線形ネットワークにおけるグローバル最適性は ℓ₀(R) の最小化とどのように関係するか？ そして、既存の結果を統一的に扱うことができるか？

主な発見

• 1層隠れ層を持つReLUネットワークにおいて、ほとんどすべての実用的で非線形分離不可能なデータセットに対して、誤った局所的最小値が存在する。
• 著者たちは、非線形分離不可能なデータという、既知の最も弱い仮定のもとで、ReLUネットワークに無限に多くの悪い局所的最小値の存在を構成的証明している。
• 一般の活性化関数（例：シグモイド、tanh、arctan、ReLU）に対して、最小限の非線形性ですら、悪い局所的最小値が存在することを示す反例を提示している。
• ガウス分布の入力データや実現可能性を仮定せず、先行研究よりもより一般化された条件のもとで結果が成り立つ。
• 本研究では、『局所的最小値はグローバル最小値である』という性質が非線形ネットワークに拡張されず、主に深層線形ネットワークに限定されることを確立している。
• 深層線形ネットワークにおけるグローバル最適性の包括的特徴付けがなされ、既存の結果を統一的に示しており、全ネットワークのグローバル最小値と ℓ₀(R) の最小化が等価であることを示している。