[論文レビュー] Negative eigenvalues of the Hessian in deep neural networks

Guillaume Alain, Nicolas Le Roux+1 more|arXiv (Cornell University)|Feb 6, 2019

Stochastic Gradient Optimization Techniques参考文献 14被引用数 23

ひとこと要約

この論文は、深層ニューラルネットワークのヘッシアンにおける負の固有値の役割を調査し、それらが顕著な損失低減の可能性を秘めているが、現在の最適化手法によっては十分に活用されていないことを示している。MNISTに訓練されたLeNetを用いたヘッシアン固有値分解により、著者らは負の曲率方向が訓練全体を通して安定的かつ顕著な改善をもたらすことが判明した。これに対して正の曲率方向では、改善が時間経過とともに減少する。

ABSTRACT

The loss function of deep networks is known to be non-convex but the precise nature of this nonconvexity is still an active area of research. In this work, we study the loss landscape of deep networks through the eigendecompositions of their Hessian matrix. In particular, we examine how important the negative eigenvalues are and the benefits one can observe in handling them appropriately.

研究の動機と目的

• 深層ニューラルネットワークの損失関数の損失ランドスケープにおける負の曲率方向の役割を理解すること。
• 現在の最適化手法が負の曲率方向をどの程度効果的に活用しているかを評価すること。
• 負の曲率領域における損失関数の2次近似の正確さを調査すること。
• 正および負の曲率方向における曲率の大きさと最適ステップサイズの関係を探索すること。
• 負の曲率方向の安定性と改善可能性を評価し、訓練の効率性と収束性の向上に寄与する可能性を検討すること。

提案手法

• フルヘッシアンの保存を避けるために、ジャコビアン・ベクトル積法を用いてヘッシアンの固有値および固有ベクトルを計算した。
• 訓練中にヘッシアンの上位および下位固有ベクトル（LA(k) および SA(k)）を追跡し、曲率の変化をモニタリングした。
• MNISTで固定ハイパーパrameterを用いたRMSPropを用いて、ヘッシアン分析用の訓練軌道を生成した。
• 解析的に導出された最適ステップサイズを用いて、各固有ベクトル方向における損失の最大可能低減を評価した。
• 正の曲率方向と負の曲率方向における損失関数の2次近似の性能を比較した。
• 関数ベースのヘッシアン・ベクトル積を用いてスケーラブルな大規模モデル向けに、スパース対称固有値ソルバー（例：SciPyのeigsh）を採用した。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークの訓練中に、ヘッシアンの固有値、特に負の固有値はどのように変化するか？
• RQ2 現在の1次最適化手法は、損失ランドスケープにおける負の曲率方向をどの程度活用しているか？
• RQ3 正の曲率方向と比較して、負の曲率領域における損失関数の2次近似の正確さはどの程度か？
• RQ4 負の曲率方向における曲率の大きさと最適ステップサイズの関係は何か？
• RQ5 損失低減の潜在的余地の大部分は負の曲率方向に存在するのか？また、その潜在的余地は時間経過とともに減少するのか？

主な発見

• MNISTにおける訓練全体を通して、最大の負の固有値が安定していることから、特定の方向に持続的な負の曲率が存在することが示された。
• 負の曲率方向は、正の曲率方向よりも常に高い損失低減の可能性を示し、時間経過にかかわらずその改善が安定している。
• 負の曲率方向における最適ステップサイズは、正の曲率方向で観察された $\alpha^* = 1/|\rho|$ の法則に従わない。
• 負の曲率領域における損失関数の2次近似は顕著に崩れ、局所的近似の質が悪いことが示された。
• 負の固有値が少ないにもかかわらず、負の曲率方向からの総損失低減の潜在的余地は、正の曲率方向を上回っている。
• 現在の最適化手法は負の曲率方向を効果的に活用できていないため、より優れた最適化アルゴリズムの開発に大きな余地がある。