[論文レビュー] Non-attracting Regions of Local Minima in Deep and Wide Neural Networks

Henning Petzka, Cristian Sminchisescu|arXiv (Cornell University)|Dec 16, 2018

Neural Networks and Applications参考文献 39被引用数 6

ひとこと要約

この論文は、シグモイド活性化関数を用いた深く非常に広い全結合ニューラルネットワークにおいて、非最適な局所的最小値—たとえ退化的であっても—が存在することを示している。構成的アプローチを用いて、これらの最小値が非吸引領域に位置することを証明しており、これは損失関数面上で非増加の経路を介して脱出可能であることを意味する。これにより、このような最小値が存在しても勾配ベースの最適化手法が依然として成功する理由が説明される。

ABSTRACT

Understanding the loss surface of neural networks is essential for the design of models with predictable performance and their success in applications. Experimental results suggest that sufficiently deep and wide neural networks are not negatively impacted by suboptimal local minima. Despite recent progress, the reason for this outcome is not fully understood. Could deep networks have very few, if at all, suboptimal local optima? or could all of them be equally good? We provide a construction to show that suboptimal local minima (i.e., non-global ones), even though degenerate, exist for fully connected neural networks with sigmoid activation functions. The local minima obtained by our construction belong to a connected set of local solutions that can be escaped from via a non-increasing path on the loss curve. For extremely wide neural networks of decreasing width after the wide layer, we prove that every suboptimal local minimum belongs to such a connected set. This provides a partial explanation for the successful application of deep neural networks. In addition, we also characterize under what conditions the same construction leads to saddle points instead of local minima for deep neural networks.

研究の動機と目的

• 非最適な局所的最小値が深く非常に広いニューラルネットワークに存在するかどうかを調査し、すべての局所的最小値がグローバル最小値であるという仮定に挑戦すること。
• これらの局所的最小値の幾何的構造、特にそれらが吸引領域にあるか非吸引領域にあるかを特定すること。
• 1層の隠れ層を持つネットワークに関する先行結果を、広い層の後に幅が非増加となるより深いアーキテクチャに拡張すること。
• 初期化と確率的性質が、非最適な最小値が存在してもそれらを避ける役割を果たす仕組みを明確にすること。
• 同じ構成が深層ネットワークで局所的最小値ではなく鞍点を生成する条件を特定すること。

提案手法

• FukumizuとAmari (2000) が提唱した手法を用いて浅いネットワークにおける非最適な局所的最小値の族を構築し、それを深層ネットワークへと拡張する。
• パラメータの連続的経路を用いて、ネットワーク内の任意の活性化軌道を実現し、経路に沿って損失が非増加となるように保証する。
• 層ごとの帰納法を用いて、出力層での任意の連続的経路が、より深い層での連続的パラメータ変更によって実現可能であることを示す。
• 鍵となる補題（補題20）を用いて、広い層が入力空間をカバーしており、その後続の重み行列がフルランクであれば、出力でのあらゆる予測経路が連続的パラメータ摂動によって実現可能であることを証明する。
• 損失を単調に減少させる経路を定義するため、現在の予測からターゲットラベルへの経路を $ f_{\Gamma}(t) = \mathbf{z} + t(\mathbf{y} - \mathbf{z}) $ として導入する。
• 広い層の活性化空間がフル次元的であり、それ以降の重み行列がフルランクであることから、経路の実現可能性を保証する。

実験結果

リサーチクエスチョン

• RQ1 深く非常に広い全結合ニューラルネットワークに、シグモイド活性化関数を用いた非最適な局所的最小値が存在するか？
• RQ2 そのような最小値が存在する場合、それらは非吸引領域に属するか？ それにより、損失関数面上で非増加の経路による脱出が可能か？
• RQ3 このようなネットワークにおけるすべての局所的最小値が、グローバル最小値へと連続的かつ非増加の経路で接続可能か？
• RQ4 どのようなアーキテクチャ的条件（例：幅のシーケンス）のもとで、この非吸引構造が成立するか？
• RQ5 同じ構成が、より深いネットワークで局所的最小値ではなく鞍点を生成するのはどのような場合か？

主な発見

• 非最適な局所的最小値は、シグモイド活性化関数を用いた深く非常に広い全結合ニューラルネットワークに存在するが、それらは退化的であっても成立する。
• 幅が広い層の後に非増加となる幅を持つネットワークにおける、このような非最適な局所的最小値は、すべて非増加の経路による脱出を可能にする連結集合に属する。
• この構成により、任意の局所的最小値に対して、損失が経路に沿って増加しない連続的なパラメータ経路が存在することが保証される。
• このような経路の存在は、SGDのような勾配ベースの最適化手法が、その確率的探索特性によりこれらの最小値を脱出可能であることを示唆する。
• この結果は、測度ゼロのパラメータ値を除き、すべてのパラメータ値に対して成り立ち、1層の隠れ層を持つネットワークに関する先行結果をより深いアーキテクチャへと拡張する。
• 同じ構成は、ネットワークの幅と活性化関数の制約に応じて、局所的最小値ではなく鞍点を生成する場合がある。