[論文レビュー] The loss surface of deep and wide neural networks

Quynh C. Nguyen, Matthias Hein|arXiv (Cornell University)|Apr 26, 2017

Neural Networks and Applications被引用数 117

ひとこと要約

著者らは、過剰指定（非常に広い）ニューラルネットワークにおいて、緩い解析的活性化関数と損失仮定の下で、ほぼすべての局所極小値が全局極小値になることを示す。これまでの結果を pyramidal 構造の深層ネットワークへ拡張する。

ABSTRACT

While the optimization problem behind deep neural networks is highly non-convex, it is frequently observed in practice that training deep networks seems possible without getting stuck in suboptimal points. It has been argued that this is the case as all local minima are close to being globally optimal. We show that this is (almost) true, in fact almost all local minima are globally optimal, for a fully connected network with squared loss and analytic activation function given that the number of hidden units of one layer of the network is larger than the number of training points and the network structure from this layer on is pyramidal.

研究の動機と目的

• 深層学習における非凸最適化の理解を動機づけ、実践での訓練成功の理由を説明する。
• 過剰指定された深いネットワークの損失面を特徴づける。
• 浅いネットワークの結果を pyramidal 構造を持つ多層アーキテクチャへ一般化する。

提案手法

• L 層のフィードフォワードネットワークと解析的活性化関数を定式化する。
• 勾配（Delta 行列）と重み/バイアス勾配のバックプロパゲーション関係を導出する。
• 活性化関数と損失に関する仮定（解析的、単調、C^2 損失）を導入し、パラメータの関数としての層出力が実解析的であることを含む鍵補題を証明する。
• 隠れ層が非常に広い場合（n_k ≥ N−1）、秩条件 [F_k, 1_N] = N が測度1のパラメータ集合で成り立つことを示す。
• 実解析的性質を用いて、秩条件が満たされない集合が測度0であることを主張する。
• 隐関数定理と非縮退性の議論を適用して、指定条件の下で臨界点の全局最適性を結論づける。

実験結果

リサーチクエスチョン

• RQ1 ネットワークの幅とアーキテクチャの条件下で、深層ネットワークにおいて局所的最低点が全局最低点になるのはいつか。
• RQ2 解析的活性化と損失関数は、臨界点の構造と全体的に最適な解の出現頻度にどう影響するか。
• RQ3 浅いネットワークに関する結果を、 pyramidal で過剰指定された多層ネットワークへ拡張できるか。
• RQ4 隠れ層の活性化の秩が、臨界点の全局最適性を保証する上でどのような役割を果たすか。

主な発見

• 過剰指定ネットワークでは、多くの局所極小値が全局最適である。
• 隠れ層が少なくとも N−1 個の単位を持つ場合（n_k ≥ N−1）、穏当な仮定の下で、完全に階層上の上部層が全秩を持つすべての非縮退臨界点は全局最適である。
• 訓練データが線形独立である場合、重み行列の全列ランクを満たすすべての臨界点は全局最小値である。
• 分析性により、検討条件下でほとんどすべての臨界点が全局最小になる。問題点は測度ゼロ集合に現れるため回避される。
• 上部層の重みが全秩を持ち、ピラミッド構造が維持される場合、退化的または低ランクの鞍点は実践的にはありそうにない。