[論文レビュー] On the energy landscape of deep networks

Pratik Chaudhari, Stefano Soatto|arXiv (Cornell University)|Nov 20, 2015

Stochastic Gradient Optimization Techniques参考文献 42被引用数 14

ひとこと要約

この論文は、深層ネットワークの損失関数の地形を探索するために、加法的勾配摂動を温度降下させる正則化された確率的勾配降下法であるAnnealSGDを提案する。スピンガラス理論にインspiredされ、初期段階では最小値が少ない単純化された多項式的地形から、最終的に元の複雑で指数的多数の最小値を持つ領域へと移行する。これにより、ネットワーク構造を変更せずにMNISTおよびCIFAR-10で一般化性能が向上する。

ABSTRACT

We introduce "AnnealSGD", a regularized stochastic gradient descent algorithm motivated by an analysis of the energy landscape of a particular class of deep networks with sparse random weights. The loss function of such networks can be approximated by the Hamiltonian of a spherical spin glass with Gaussian coupling. While different from currently-popular architectures such as convolutional ones, spin glasses are amenable to analysis, which provides insights on the topology of the loss function and motivates algorithms to minimize it. Specifically, we show that a regularization term akin to a magnetic field can be modulated with a single scalar parameter to transition the loss function from a complex, non-convex landscape with exponentially many local minima, to a phase with a polynomial number of minima, all the way down to a trivial landscape with a unique minimum. AnnealSGD starts training in the relaxed polynomial regime and gradually tightens the regularization parameter to steer the energy towards the original exponential regime. Even for convolutional neural networks, which are quite unlike sparse random networks, we empirically show that AnnealSGD improves the generalization error using competitive baselines on MNIST and CIFAR-10.

研究の動機と目的

• スピンガラスモデルを用いて深層ネットワークの損失関数地形の位相的構造を理解すること。
• 指数的多数の局所的最小値を持つ非凸な損失関数による深層ネットワークの学習の難しさに対処すること。
• 地形の単純化を活用して最適化と一般化性能を向上させる学習アルゴリズムを開発すること。
• スパースなランダム重みに基づくモデルであるが、現代の畳み込みネットワークにおいても実験的に妥当性を検証すること。

提案手法

• 論文は、スパースでランダムな重みを持つ深層ネットワークをスピンガラスとしてモデル化し、損失関数がガウス的結合を持つ球面スピンガラスハミルトニアンに近似されることを仮定する。
• スピンガラス理論における磁場に類似した加法的摂動項を導入し、損失関数地形における局所的最小値の数を制御する。
• AnnealSGDはスカラーの温度降下スケジュールを用い、摂動の強度を徐々に減少させることで、最小値が少ない多項式的領域から、元の指数的多数の最小値を持つ領域へと移行する。
• 摂動は勾配更新における固定方向のバイアスとして適用され、再サンプリングされたノイズによる不安定化を回避する。
• 摂動の大きさを制御する唯一のハイパーパrameterを調節することで、手法を実装する。
• 全結合ネットワークおよび畳み込みネットワーク、特にCIFAR-10におけるAll-CNN-BNを用いた実験を行い、標準的なSGDおよびAdamと比較する。

実験結果

リサーチクエスチョン

• RQ1 スパースでランダムな重みを持つアーキテクチャに対して、スピンガラス理論を用いて深層ネットワークのエネルギー地形をモデル化できるか？
• RQ2 外部摂動（磁場に類似）は、損失関数地形における局所的最小値の数と分布にどのように影響を与えるか？
• RQ3 このような摂動を温度降下させることで、標準的な深層ネットワークにおける学習ダイナミクスと一般化性能が向上するか？
• RQ4 固定方向の摂動は、再サンプリングされた勾配ノイズよりも最適化において優れているか？
• RQ5 スピンガラス理論からの知見は、現代の畳み込みネットワークの実用的学習アルゴリズムにどの程度有用か？

主な発見

• All-CNN-BNアーキテクチャを用いて、CIFAR-10のテスト誤差をベースラインの8.42%から7.95%まで低下させ、一般化性能の向上を示した。
• 温度降下なしでも0.66%の改善が得られ、摂動自体に本質的な利点があることを示唆している。
• 再サンプリングされた加法的ノイズ（勾配ノイズの一種）は、固定方向の摂動よりも性能が劣ることが、図4および表1で示された。
• 温度降下スケジュールにより、より穏やかな地形のおかげで初期段階の学習が速くなり、最終的な性能にほとんど影響を与えない。
• 本手法は頑健で実装が容易であり、摂動強度を制御するための唯一のハイパーパrameterを必要とする。
• 理論的分析により、温度降下が元の局所的最小値の位置を変更しないことが確認され、最適化の目的を保持している。