[論文レビュー] The Loss Surfaces of Multilayer Networks

Anna Choromanska, Mikael Henaff+3 more|arXiv (Cornell University)|Nov 30, 2014

Stochastic Gradient Optimization Techniques参考文献 19被引用数 716

ひとこと要約

この論文は、重みの独立性、冗長性、一様性の仮定の下で、大規模な完全結合型フィードフォワードニューラルネットワークの損失関数の曲面と球面スピングラスモデルのハミルトニアンとの間の理論的関係を確立する。ランダム行列理論を用いて、大規模なネットワークでは、最小の臨界点がグローバル・ミニマの近くにきわめて狭いバンドを形成することを示し、大多数の局所的最小値が高いテスト性能を示し、悪い最小値に遭遇する確率がネットワークサイズとともに指数関数的に減少することを示している。これは、非凸性が存在するにもかかわらずSGDが一貫して良好な解を効果的に見つけられる理由を説明する。

ABSTRACT

We study the connection between the highly non-convex loss function of a simple model of the fully-connected feed-forward neural network and the Hamiltonian of the spherical spin-glass model under the assumptions of: i) variable independence, ii) redundancy in network parametrization, and iii) uniformity. These assumptions enable us to explain the complexity of the fully decoupled neural network through the prism of the results from random matrix theory. We show that for large-size decoupled networks the lowest critical values of the random loss function form a layered structure and they are located in a well-defined band lower-bounded by the global minimum. The number of local minima outside that band diminishes exponentially with the size of the network. We empirically verify that the mathematical model exhibits similar behavior as the computer simulations, despite the presence of high dependencies in real networks. We conjecture that both simulated annealing and SGD converge to the band of low critical points, and that all critical points found there are local minima of high quality measured by the test error. This emphasizes a major difference between large- and small-size networks where for the latter poor quality local minima have non-zero probability of being recovered. Finally, we prove that recovering the global minimum becomes harder as the network size increases and that it is in practice irrelevant as global minimum often leads to overfitting.

研究の動機と目的

• 非凸性が存在するにもかかわらず、確率的勾配降下法（SGD）が深層ニューラルネットワークで一貫して高性能な解を発見できる理由を説明すること。
• 大規模な完全結合型ニューラルネットワークにおける臨界点（最小値、停留点）の分布と品質を調査すること。
• グローバル・ミニマが実用的に有用であるのか、それとも良い局所的最小値があれば一般化が達成可能であるのかを特定すること。
• ネットワークサイズの増大に伴い、トレーニング誤差とテスト誤差の関係がどのように変化するかを分析すること。

提案手法

• 重みの値に応じて活性化または非活性化される単項式を含む、球面上の高次多項式として完全に分離されたReLUネットワークの損失関数をモデル化する。
• ランダム行列理論を用いて、この多項式の臨界点を分析し、球面スピングラスモデルと類似する性質を明らかにする。
• 理論的分析により、大規模なネットワークでは、臨界点がエネルギーの低いバンドを明確に形成する階層的構造を持つことを示す。
• 理論的および実験的スケーリング則（例：指数的パワー則）を用いて損失値をスケーリングし、異なるネットワークサイズ間で結果を比較する。
• シミュレーテッド・アニーリングとSGDを実験的に比較し、高インデックスの停留点に閉じ込められることは問題であるかを評価する。
• 正規化されたインデックス（ヘッセ行列固有値の負の割合）とトレーニング誤差とテスト誤差の相関を計算し、解の品質と一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模なニューラルネットワークの臨界点は、グローバル・ミニマの近くに構造的で低エネルギーのバンドを形成するか？
• RQ2 ネットワークサイズが増大するにつれて、悪い局所的最小値に遭遇する確率はどのように変化するか？
• RQ3 グローバル・ミニマは実用的に有用であるのか、それとも良い局所的最小値があれば十分なのか？
• RQ4 ネットワークサイズの増大に伴い、トレーニング誤差とテスト誤差の相関はどのように変化するか？
• RQ5 SGDはシミュレーテッド・アニーリングと同等の性能を示すのか。これにより、停留点に閉じ込められることは実際の問題ではないと示唆されるか？

主な発見

• 大規模なネットワークでは、最小の臨界点がグローバル・ミニマの近くにきわめて狭いバンドを形成し、大多数の局所的最小値が高いテスト性能を示す。
• 悪い局所的最小値に遭遇する確率はネットワークサイズとともに指数関数的に減少し、大規模なネットワークでは無視できるほど小さくなる。
• トレーニング誤差とテスト誤差の相関はネットワークサイズの増大に伴い低下し、トレーニング誤差が最小化されていなくても良好な一般化が達成されることを示している。
• SGDはシミュレーテッド・アニーリングと同等以上に性能を示し、高インデックスの停留点に閉じ込められることは実際の問題ではないと示唆している。
• グローバル・ミニマは回復が困難であり、しばしば過学習を引き起こすため、一般化において実用的に無関係である。
• 実験結果は、理論モデルの挙動が、実際のネットワークにおける強い変数依存性が存在する場合でも、シミュレーションと非常によく一致することを確認している。