[論文レビュー] Trivializing The Energy Landscape Of Deep Networks.

Pratik Chaudhari, Stefano Soatto|arXiv (Cornell University)|Nov 20, 2015

Stochastic Gradient Optimization Techniques参考文献 72被引用数 11

ひとこと要約

本稿は、深層学習とスピンガラスモデルを結びつける理論的枠組みを提案し、正則化（外部磁場に類似）を適用することで、深層ネットワークの損失関数の形状が単純化され、指数関数的に多数存在する局所的最小値が定数個に減少することを示している。主な結果は、このような摂動が勾配降下法が劣悪な局所的最小値から脱出可能にすることであり、正則化や冷却スケジュールの選定にヒューリスティクスを提供する。

ABSTRACT

We study a theoretical model that connects deep learning to finding the ground state of the Hamiltonian of a spherical spin glass. Existing results motivated from statistical physics show that deep networks have a highly non-convex energy landscape with exponentially many local minima and energy barriers beyond which gradient descent algorithms cannot make progress. We leverage a technique known as topology trivialization where, upon perturbation by an external magnetic field, the energy landscape of the spin glass Hamiltonian changes dramatically from exponentially many local minima to total trivialization, i.e., a constant number of local minima. There also exists a transitional regime with polynomially many local minima which interpolates between these extremes. We show that a number of regularization schemes in deep learning can benefit from this phenomenon. As a consequence, our analysis provides order heuristics to choose regularization parameters and motivates annealing schemes for these perturbations.

研究の動機と目的

• 統計力学およびスピンガラス理論の観点から、深層ニューラルネットワークの極めて非凸なエネルギー形状を理解すること。
• 磁場に類似した外部摂動が、指数関数的に多数の局所的最小値を持つエネルギー形状を、最小値が少数に単純化された構造へと変化させることを調査すること。
• スピンガラスのトポロジー単純化に関する理論的知見を、実用的な深層学習の正則化手法に結びつけること。
• エネルギー形状のトポロジー的転移に基づいて、正則化パラメータのオーダー・オブ・マグニチュードのヒューリスティクスを導出すること。
• スピンガラスモデルで観察される摂動の徐々な適用を模倣する、正則化パrameterのための冷却戦略を提示すること。

提案手法

• 統計力学の道具を用いて、深層ネットワークの損失関数の形状を球面スピンガラスのハミルトニアンとしてモデル化すること。
• スピンガラスのハミルトニアンに外部磁場に類似した摂動を適用し、エネルギー形状におけるトポロジー的転移を誘発すること。
• 局所的最小値の数における相転移を分析する：摂動前は指数関数的（多量）、摂動後は定数（少量）に減少し、中間段階では多項式的（中程度）の領域が存在する。
• トポロジー単純化の概念を用いて、摂動が加わることで勾配降下法が劣悪な局所的最小値から脱出可能になる仕組みを説明すること。
• 深層学習における正則化とスピンガラスモデルにおける磁場との理論的関連を確立すること。
• 指数関数的最小値から定数最小値への遷移領域の観察に基づいて、正則化強度のヒューリスティクスを定式化すること。

実験結果

リサーチクエスチョン

• RQ1 外部磁場の追加が、球面スピンガラスのエネルギー形状における局所的最小値の数と構造に与える影響は何か？
• RQ2 スピンガラスエネルギー形状のトポロジー的単純化は、深層学習における正則化の成功を説明できるか？
• RQ3 指数関数的に多数の局所的最小値を持つ非凸領域と単純化された領域との間をつなぐ中間的領域（多項式的最小値）が果たす役割は何か？
• RQ4 局所的最小値の数における相転移は、深層ニューラルネットワークにおける正則化ハイパーパrameterの選定にどのように寄与するか？
• RQ5 スピンガラスモデルにおける摂動のダイナミクスから、正則化パrameterのための冷却スケジュールをどのように導出できるか？

主な発見

• 深層ネットワークのエネルギー形状を球面スピンガラスとしてモデル化した場合、外部磁場の影響を受けることで、指数関数的に多数の局所的最小値が定数個に減少する。
• 指数的最小値から定数最小値への遷移を媒介する中間的領域が存在し、ここでは多項式的数の局所的最小値が観察される。
• 深層学習における正則化は、同様の摂動を引き起こすものと解釈でき、損失関数の形状を単純化し、最適化を容易にする。
• 理論的分析により、エネルギー形状のトポロジー的転移に基づいた、正則化パラメータ選定のオーダー・オブ・マグニチュードのヒューリスティクスが得られる。
• 正則化強度を徐々に増加させる冷却戦略は、スピンガラスモデルにおける摂動のゆっくりとした適用を模倣することで正当化できる。
• トポロジー単純化の現象は、多数の局所的最小値が存在するにもかかわらず勾配降下法が成功する理由を理論的に説明する手がかりを提供する。