[論文レビュー] An Investigation into Neural Net Optimization via Hessian Eigenvalue Density

Behrooz Ghorbani, Shankar Krishnan+1 more|arXiv (Cornell University)|Jan 29, 2019

Sparse and Compressive Sensing Techniques被引用数 103

ひとこと要約

この論文は、大規模ニューラルネットワークの訓練中に全 Hessian スペクトルを推定するスケーラブルなツールを開発し、外れ値固有値が最適化を遅くする一方で、バッチ正規化がこれらの外れ値を抑制することを示す。

ABSTRACT

To understand the dynamics of optimization in deep neural networks, we develop a tool to study the evolution of the entire Hessian spectrum throughout the optimization process. Using this, we study a number of hypotheses concerning smoothness, curvature, and sharpness in the deep learning literature. We then thoroughly analyze a crucial structural feature of the spectra: in non-batch normalized networks, we observe the rapid appearance of large isolated eigenvalues in the spectrum, along with a surprising concentration of the gradient in the corresponding eigenspaces. In batch normalized networks, these two effects are almost absent. We characterize these effects, and explain how they affect optimization speed through both theory and experiments. As part of this work, we adapt advanced tools from numerical linear algebra that allow scalable and accurate estimation of the entire Hessian spectrum of ImageNet-scale neural networks; this technique may be of independent interest in other applications.

研究の動機と目的

• 大規模ニューラルネットワークの全 Hessian スペクトラムを推定するスケーラブルなツールを開発する。
• 訓練を通じて経験的に Hessian スペクトラムを分析し、曲率と最適化仮説を評価する。
• 外れ値 Hessian 固有値の役割と、バッチ正規化が最適化スピードに与える影響を調査する。

提案手法

• Pearlmutter のトリックを用いて Hessian-ベクトル積を計算する。
• Hessian スペクトラム密度の推定に対して、ガウス求積を用いた確率的 Lanczos 求積法を適用する。
• 平滑スペクトル密度 φ_sigma(t) を推定するために多重サンプル平均を行う。
• ダブル精度のグラウンドトゥルースと比較して小規模モデルで精度を検証する。
• CIFAR-10 および ImageNet に対する ResNet/VGG で最適化経路に沿って Hessian スペクトルを追跡する。

実験結果

リサーチクエスチョン

• RQ1 大規模ニューラルネットの訓練中の全 Hessian スペクトラムとは何か？
• RQ2 外れ値固有値は最適化速度にどのような影響を与えるか？
• RQ3 バッチ正規化が Hessian スペクトラムと訓練ダイナミクスに与える影響は何か？
• RQ4 BN は固有方向間の勾配エネルギーの分布を変えることができるか？
• RQ5 スペクトル特性は学習率のスケジュールやアーキテクチャの選択（例えば残差接続）と相関するか？

主な発見

• Hessian スペクトラムは訓練開始直後に大きな負の固有値を急速に失い、ほとんどの固有値がゼロ付近に安定する。
• 外れ値 Hessian 固有値は、非 BN ネットワークで最適化を遅くすることと相関する。
• バッチ正規化は外れ値固有値を抑制し、外れ値分解空間から勾配エネルギーを集中させず、最適化を加速する。
• 学習率を下げると大きな固有値が収縮し、外れ値の大きさが減少する。これはいくつかの平坦/鋭い minima の予想とは逆である。
• 残差接続はさらに固有値をゼロへ向かって収縮させ、BN のスペクトルをより滑らかにする効果と一致する。
• BN の全バッチ統計は外れ値を再導入し訓練を遅くする可能性があり、BN の役割をスペクトルの観点で支持する。