[論文レビュー] An Empirical Analysis of Deep Network Loss Surfaces

Daniel Jiwoong Im, Michael Tao+1 more|arXiv (Cornell University)|Apr 24, 2017

Advanced Neural Network Applications参考文献 19被引用数 22

ひとこと要約

本論文は、多角形への投影を用いた可視化技術を用いて、深層ニューラルネットワークにおける損失関数の幾何構造を実証的に調査し、確率的最適化手法（SGD や Adam など）が、構造的性質が明確に異なる極小値に収束することを明らかにした。主な貢献は、これらの極小値がしばしば低損失経路で接続されていることの実証的証明であり、非凸性が存在するにもかかわらず、望ましい最適化の多様性が保証されている可能性を示唆している。

ABSTRACT

The training of deep neural networks is a high-dimension optimization problem with respect to the loss function of a model. Unfortunately, these functions are of high dimension and non-convex and hence difficult to characterize. In this paper, we empirically investigate the geometry of the loss functions for state-of-the-art networks with multiple stochastic optimization methods. We do this through several experiments that are visualized on polygons to understand how and when these stochastic optimization methods find minima.

研究の動機と目的

• 深層ニューラルネットワークの損失関数の幾何的構造を理解すること。これは高次元的かつ非凸的である。
• 確率的最適化手法（SGD や Adam など）が、こうした複雑な損失関数の多様性をどのように探索するかを調査すること。
• 最先端の深層ネットワークにおける極小値の接続性と曲率を可視化し、分析すること。
• 異なる最適化手法が到達する極小値が、構造的に類似しているか、それとも異なるかを特定すること。
• 最適化ダイナミクスが損失関数の幾何的構造に果たす役割を評価すること。

提案手法

• 著者たちは、高次元の損失関数の多様性を2次元の多角形に射影することで可視化する次元削減技術を用いる。
• SGD や Adam を含む、複数の確率的最適化手法を用いて最先端の深層ネットワークを学習する。
• 得られた極小値の間を線形補間路に沿って損失値を計算し、接続性を評価する。
• 損失関数の曲率と異なる領域における損失の変動を測定することで、損失関数の幾何的性質を分析する。
• 一般化性を確保するため、標準的なベンチマークとネットワークアーキテクチャを用いて実験を実施する。
• 可視化ツールを用いて、異なる最適化手法が得た極小値の構造的性質を比較する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークにおける確率的最適化手法が到達する極小値は、しばしば低損失経路で接続されているか？
• RQ2 SGD や Adam といった異なる最適化手法における損失関数の幾何的性質は、どのように異なるか？
• RQ3 深層ネットワークの損失関数における極小値の接続性は、どの程度高いか。これは、望ましい最適化の多様性を示唆するか？
• RQ4 異なる最適化手法が到達する極小値は、曲率や損失特性において類似しているか、それとも異なるか？
• RQ5 損失関数の幾何的構造は、訓練済みモデルの一般化性能を説明できるか？

主な発見

• 異なる最適化手法が到達する極小値は、しばしば低損失経路で接続されており、これは非常に接続性が高く、望ましい最適化の多様性であることを示唆している。
• 損失関数の多様性は極小値同士で極めて高い接続性を示しており、最適化が孤立した局所的極小値に閉じ込められる可能性は低い。
• 極小値の周辺における損失関数の曲率は一般的に小さいため、一般化性能が良いとされる広い極小値の存在を支持する。
• SGD は Adam よりも平坦な極小値に到達する傾向があり、これは一部の状況で SGD の一般化性能が優れている理由を説明できる可能性がある。
• 損失関数の可視化により、損失関数は従来の予想よりも非凸的ではないことが判明し、多くの極小値が低損失経路に位置していることが明らかになった。
• 結果から、深層ネットワークにおける最適化プロセスは、一般化可能な解への収束を容易にする多様性に導かれており、そのような多様性が存在することが示唆された。