[論文レビュー] No Spurious Local Minima in Deep Quadratic Networks

Abbas Kazemipour, Brett W. Larsen+1 more|arXiv (Cornell University)|Dec 31, 2019

Stochastic Gradient Optimization Techniques参考文献 3被引用数 6

ひとこと要約

この論文は、ニューロン数が入力次元以上であり、トレーニングサンプルのノルムをレグレッサーとして使用する場合、2次活性化関数を備えた深層過パラメータ化ニューラルネットワークが、2次損失のランドスケープにおいて偽の局所的最小値を有さないことを証明している。理論的分析により、すべての局所的最小値がグローバル最小値であることが示され、実験的結果もグローバル最小値への収束を確認しており、データ分布に依存しない良好な最適化特性が確立されている。

ABSTRACT

Despite their practical success, a theoretical understanding of the loss landscape of neural networks has proven challenging due to the high-dimensional, non-convex, and highly nonlinear structure of such models. In this paper, we characterize the training landscape of the quadratic loss landscape for neural networks with quadratic activation functions. We prove existence of spurious local minima and saddle points which can be escaped easily with probability one when the number of neurons is greater than or equal to the input dimension and the norm of the training samples is used as a regressor. We prove that deep overparameterized neural networks with quadratic activations benefit from similar nice landscape properties. Our theoretical results are independent of data distribution and fill the existing gap in theory for two-layer quadratic neural networks. Finally, we empirically demonstrate convergence to a global minimum for these problems.

研究の動機と目的

• 2次活性化関数を有する深層ニューラルネットワークの損失ランドスケープを理論的に特徴づけること。
• このようなネットワークの学習ダイナミクスにおいて、偽の局所的最小値が存在するかを調査すること。
• すべての局所的最小値がグローバル最小値となる条件を確立し、最適化収束を保証すること。
• これらの良好なランドスケープ特性が、データ分布に依存せず成り立つことを示すこと。
• 理論的条件の下で、2次ニューラルネットワークにおけるグローバル収束が実験的に検証されること。

提案手法

• 2次活性化関数を用いた深層ニューラルネットワークの2次損失ランドスケープを分析すること。
• ニューロン数が入力次元以上である場合、偽の局所的最小値が存在しないことを証明すること。
• トレーニングサンプルのノルムをレグレッサーとして用いることで、良好な最適化特性を保証すること。
• 指定された過パラメータ化条件の下で、すべての局所的最小値がグローバル最小値であることを確立すること。
• データ分布に依存しない理論的分析を適用し、異なるデータ設定に一般化可能な結果を得ること。
• 理論的発見を実験的実験により検証し、グローバル最小値への収束を示すこと。

実験結果

リサーチクエスチョン

• RQ1 深層2次ニューラルネットワークの学習ランドスケープに、偽の局所的最小値は存在するか？
• RQ2 過パラメータ化された2次ネットワークで、偽の局所的最小値を回避できる条件は何か？
• RQ3 データ分布に依存せずに、偽の局所的最小値の不在を証明できるか？
• RQ4 トレーニングサンプルのノルムをレグレッサーとして用いることは、損失ランドスケープにどのように影響するか？
• RQ5 理論的条件の下で、2次ニューラルネットワークの学習においてグローバル収束が実験的に観察できるか？

主な発見

• ニューロン数が入力次元以上である限り、深層過パラメータ化2次ニューラルネットワークには偽の局所的最小値が存在しない。
• 指定された過パラメータ化およびレグレッサー条件の下で、2次損失ランドスケープにおけるすべての局所的最小値がグローバル最小値である。
• 理論的結果は、基礎となるデータ分布に依存せず、一般化可能性が向上する。
• サドルポイントは存在するが、確率1で回避可能であり、効率的な最適化を支援する。
• 実験的結果により、このようなネットワークの学習においてグローバル最小値への収束が確認された。
• 2次活性化関数と過パラメータ化の構造のおかげで、良好なランドスケープ特性が維持されている。