[論文レビュー] Explorations on high dimensional landscapes

Levent Sagun, V. Uğur Güney+2 more|arXiv (Cornell University)|Dec 20, 2014

Data Management and Algorithms参考文献 15被引用数 35

ひとこと要約

本稿は、高次元非凸関数の最適化の多様性を調査し、スピンガラスモデルおよびディープニューラルネットワークの両方において、臨界点（特に局所的最小値）が、『フロア』と呼ばれる狭いエネルギー帯域に密に集まることを示している。勾配降下法（GD）と確率的勾配降下法（SGD）を用いて、両手法が同じステップ数でこのフロアに収束することを示しており、フロアはノイズや更新戦略にかかわらず、高次元最適化の普遍的特徴であると考えられる。

ABSTRACT

Finding minima of a real valued non-convex function over a high dimensional space is a major challenge in science. We provide evidence that some such functions that are defined on high dimensional domains have a narrow band of values whose pre-image contains the bulk of its critical points. This is in contrast with the low dimensional picture in which this band is wide. Our simulations agree with the previous theoretical work on spin glasses that proves the existence of such a band when the dimension of the domain tends to infinity. Furthermore our experiments on teacher-student networks with the MNIST dataset establish a similar phenomenon in deep networks. We finally observe that both the gradient descent and the stochastic gradient descent methods can reach this level within the same number of steps.

研究の動機と目的

• 高次元非凸最適化多様性における臨界点の構造を調査すること。
• GD や SGD といった最適化アルゴリズムが、複雑な系において同じエネルギー水準に収束するかどうかを特定すること。
• 教師-生徒ネットワークのようなディープラーニングモデルにも、『フロア』—指数的に多数の局所的最小値を含む臨界点の狭いバンド—が存在するかどうかを調査すること。
• SGD が内蔵するノイズにもかかわらず、GD と SGD がこのフロアに到達するまでの性能を比較すること。
• フロア現象が、スピンガラスやニューラルネットワークに限らず、高次元系の普遍的特徴である可能性を示唆すること。

提案手法

• ハミルトニアンが独立同分布のガウス的相互作用の和として定義される平均場球面的スピンガラスモデルをシミュレート：$ H_N(w) = \frac{1}{N} \sum_{i,j,k} x_{ijk} w_i w_j w_k $。
• 勾配降下法（GD）とミニバッチサイズ1の確率的勾配降下法（SGD）を適用し、各項の勾配の負方向に重みを更新する。
• MNISTデータセット上で教師-生徒ニューラルネットワークフレームワークを用い、教師ネットワークをデータの半分で事前学習し、それをもとに生徒ネットワークを監視学習する。
• 訓練コスト、テストコスト、テスト誤差を測定し、複数のハイパーパrameter設定においてGDとSGDを比較する。
• 臨界点およびエネルギー水準の分布の統計的分析を用いて、『フロア』—指数的に多数の臨界点を含む狭いエネルギー値のバンド—の存在を同定する。
• 異なるシステム次元およびノイズレベルにおけるアルゴリズムの挙動を比較し、対数スケールのプロットと標準偏差帯を用いて収束速度と安定性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングにおける高次元非凸多様性は、スピンガラスで観察された『フロア』に類似した狭い臨界点バンドを示すか？
• RQ2 ノイズや更新戦略の違いがあるにもかかわらず、GD と SGD はこのような多様性で同じエネルギー水準に収束するか？
• RQ3 これらの系におけるフロア水準は、グローバル最小値に近く、絶対最小値ではないにもかかわらず、実用的に最適な解であるか？
• RQ4 フロアの存在は、収束速度および最終コストの観点で最適化アルゴリズムの性能にどのように影響を与えるか？
• RQ5 フロア現象は、スピンガラスやディープネットワークを超えて一般化可能であり、高次元最適化の普遍的特徴を示唆するか？

主な発見

• 高次元スピンガラスモデルでは、インデックスが低い臨界点（例：局所的最小値）の大部分が、グランドステートのわずか上にある、『フロア』と呼ばれる狭いエネルギー帯域に集中している。
• 勾配降下法（GD）と確率的勾配降下法（SGD）は、同じステップ数で同じエネルギー水準（フロア）に収束するため、これらの多様性においてノイズが最終収束点に顕著に影響しないことが示された。
• 2層の生徒ネットワークを用いたMNISTデータセットでは、GDとSGDは同等の訓練コストとテストコストを達成しており、500-300の設定でSGDはわずかに優れた一般化性能（テスト誤差174 vs. 194）を示した。
• GDとSGDの平均訓練コストは緩やかに減少し、対数スケールでも著しい減衰が観察されないため、収束が極めて遅く、平坦なプラトーに近い挙動を示している。
• フロアは理論的構造にとどまらず、実際のMNIST実験でも、生徒ネットワークが教師の誤差を引き継ぎながらも一部を是正するなど、損失多様性の安定的かつ学習可能な領域であることが示された。
• 理論的にはSGDのノイズが高エネルギーの局所的最小値から脱出するのを助けると予想されるが、実際には両手法が類似した挙動を示し、フロアが高次元最適化における支配的アトラクタであることを示唆している。