[論文レビュー] An empirical analysis of the optimization of deep network loss surfaces

Daniel Jiwoong Im, Michael Tao+1 more|arXiv (Cornell University)|Dec 13, 2016

Stochastic Gradient Optimization Techniques参考文献 28被引用数 39

ひとこと要約

本論文は、異なる最適化アルゴリズムの収束点を中心にした低次元投影を用いて、深層ニューラルネットワークの損失関数の幾何構造を実験的に調査している。勾配降下法の変種が鞍点で一貫して異なる降下方向を選択することにより、同一の初期化のもとでも異なる最終的解が得られることを明らかにした。これはバッチ正則化が最適化軌道の安定化に果たす重要な役割を示している。

ABSTRACT

The success of deep neural networks hinges on our ability to accurately and efficiently optimize high-dimensional, non-convex functions. In this paper, we empirically investigate the loss functions of state-of-the-art networks, and how commonly-used stochastic gradient descent variants optimize these loss functions. To do this, we visualize the loss function by projecting them down to low-dimensional spaces chosen based on the convergence points of different optimization algorithms. Our observations suggest that optimization algorithms encounter and choose different descent directions at many saddle points to find different final weights. Based on consistency we observe across re-runs of the same stochastic optimization algorithm, we hypothesize that each optimization algorithm makes characteristic choices at these saddle points.

研究の動機と目的

• 実際の深層ネットワーク損失関数の幾何的構造を理解し、最適化アルゴリズムがそれらとどのように相互作用するかを明らかにすること。
• 同一の初期化のもとで異なる最適化アルゴリズムが異なる解に収束する理由を調査すること。
• バッチ正則化が最適化軌道の一貫性と安定性に与える影響を検討すること。
• 最期の訓練段階でも鞍点に到達するか、それらがアルゴリズム依存の分散を引き起こすかを評価すること。
• 異なる最終的な重みが同等の解を表しているのか、それとも質的に異なるモデルを表しているのかを特定すること。

提案手法

• 初期重みと最終収束点の間の補間を用いて、高次元損失関数を低次元空間に投影した。
• 異なる最適化アルゴリズムによって得られた最終重みの間を補間し、損失関数表面を可視化した。
• 5つの一般的な一次最適化手法（SGD, SGDM, RMSprop, Adadelta, Adam）を用いた。
• CIFAR10およびMNISTデータセットを用い、NIN、VGG、FC2ネットワークでバッチ正則化有無の両方の実験を実施した。
• 異なるランダム初期化を用いた複数回の再実行を行い、解の一貫性を実行間で評価した。
• 最終重みの周辺における損失関数表面の形状を分析し、アルゴリズム固有の特徴と鞍点の挙動を特定した。

実験結果

リサーチクエスチョン

• RQ1 同一の初期化のもとで、異なる最適化アルゴリズムは同じ解に収束するのか、それとも異なる解に収束するのか？
• RQ2 異なる最適化アルゴリズムが得た最終重みの周囲における損失関数表面の幾何構造は、どのように異なるのか？
• RQ3 バッチ正則化は、最適化軌道の一貫性と安定性にどの程度影響を及ぼすのか？
• RQ4 最期の訓練段階でも鞍点に到達するのか？ そして、それらがアルゴリズム依存の分散を引き起こすのか？
• RQ5 異なる最終的解は同等のモデルを表しているのか、それとも質的に異なる行動を示すのか？

主な発見

• 同一の初期化のもとでも、異なる最適化アルゴリズムが一貫して異なる最終重みに収束することを確認した。これは、鞍点においてアルゴリズム固有の選択が行われていることを示している。
• 最終解の周囲における損失関数表面は、使用された最適化アルゴリズムに応じて一貫して特徴的な形状を示した。
• 訓練の後半で最適化アルゴリズムを切り替えると、最終解は後続のアルゴリズムの特性を示すようになった。これは、まだ鞍点の通過が継続していることを示唆している。
• バッチ正則化がないと、再実行間での解の一貫性が著しく低下し、より多様で複雑な損失関数表面形状が観察された。
• 投影空間における最終重みペアの間に高損失の隆起が存在するため、異なる解は単なる同一モデルのパラメータ化ではないことが示された。
• これらの発見は、凸関数における最適化効率の一般化が、深層ネットワークの損失関数表面には適用できないことを示唆している。鞍点が広く存在し、降下方向がアルゴリズムに依存するためである。