[論文レビュー] The Full Spectrum of Deepnet Hessians at Scale: Dynamics with SGD Training and Sample Size

Vardan Papyan|arXiv (Cornell University)|Nov 16, 2018

Model Reduction and Neural Networks参考文献 37被引用数 32

ひとこと要約

本稿では、実データセット上で学習された大規模な深層ニューラルネットワーク（数百万〜数千万パラメータ）の全ヘシアンスぺクトルを分析するスケーラブルな計算フレームワークを提案する。高度な数値線形代数を用いて、ヘシアンをH、Gおよび階層的サブコンポーネントA₁、B₁、B₂に分解し、トレーニングダイナミクスとサンプルサイズがスペクトル、特に「スパイク付き」の固有値と連続的バルク分布の出現に系統的に影響することを明らかにした。これにより、深層学習における一般化と最適化に関する新たな知見が得られた。

ABSTRACT

We apply state-of-the-art tools in modern high-dimensional numerical linear algebra to approximate efficiently the spectrum of the Hessian of modern deepnets, with tens of millions of parameters, trained on real data. Our results corroborate previous findings, based on small-scale networks, that the Hessian exhibits "spiked" behavior, with several outliers isolated from a continuous bulk. We decompose the Hessian into different components and study the dynamics with training and sample size of each term individually.

研究の動機と目的

• 小規模な近似にとどまらず、現代の深層ニューラルネットワークにおけるヘシアンスペクトルを大規模スケールで分析すること。
• 解釈可能なコンポーネント（H、Gおよび階層的サブコンポーネント）にヘシアンを分解し、それらの個々のダイナミクスを研究すること。
• SGDにおけるトレーニングダイナミクスとサンプルサイズがヘシアンのスペクトル的性質に与える影響を調査すること。
• 高次元の深層学習モデルにおけるヘシアンスペクトル近似のためのスケーラブルで数値的に安定したフレームワークを提供すること。
• 特に外れ値とバルク分布を含むスペクトル構造が、深層ネットワークにおける一般化と最適化行動とどのように関連するかを明らかにすること。

提案手法

• ヘシアンスペクトルを効率的に近似するために、Lanczosアルゴリズムおよび部分空間反復法を含む最先端の数値線形代数ツールを採用する。
• ガウス・ニュートン分解を適用してヘシアンを2つの主要コンポーネントに分割：H（2次微分による重み寄与）とG（勾配に基づく曲率）。
• さらにGを3段階の階層的構造に分解：A₁（クラス別平均勾配）、A₂（クラス固有の勾配）、B₁（クラス内分散）、B₂（クラス間分散）。
• 反復的ソルバーの収束性を向上させるために、正規化手順（例：[-1,1]範囲へのスケーリング）を適用する。
• LanczosApproxSpecおよびSubspaceIterationアルゴリズムを用いて、制御された精度と収束性でスペクトルおよびデフラットスペクトルを計算する。
• MNIST、FashionMNIST、CIFAR10、CIFAR100の各データセットに対してVGG11およびResNet18を用い、データオーグメンテーションを一切行わず、固定されたハイパーパrameterで学習することで決定論的を確保する。

実験結果

リサーチクエスチョン

• RQ1 大規模な深層ネットワークにおけるSGDトレーニング中に、ヘシアンのスペクトルコンポーネント（H、Gおよびそのサブコンポーネント）はどのように変化するか？
• RQ2 階層的コンポーネント（A₁、B₁、B₂など）の各々が、全体のヘシアンスペクトル、特に「スパイク付き」の固有値と連続的バルクにどの程度寄与しているか？
• RQ3 トレーニングデータセットのサイズがヘシアンのスペクトル構造およびそのコンポーネントに与える影響は何か？
• RQ4 現代の数値線形代数を用いて、数百万〜数千万パラメータのスケールでヘシアンのスペクトルダイナミクスを信頼性高く近似できるか？
• RQ5 スペクトル特徴（例：Gスペクトルのピーク）が損失関数や誤差のトレースといったトレーニングダイナミクスとどの程度相関するか？

主な発見

• 大規模なネットワークではヘシアンスペクトルに「スパイク付き」の振る舞いが見られ、連続的バルクとは明確に分離された孤立した固有値（外れ値）が複数存在する。これは、小規模なスケールでの先行研究と整合的である。
• Gコンポーネントの外れ値固有値は主にA₁（クラス別平均勾配）に起因し、Gの右バルクはB₂（クラス間分散）に、左バルクはB₁（クラス内分散）に起因している。
• Gスペクトルのピークは、損失が急激に減少し、その後減速するトレーニングの遷移点に一致しており、最適化ダイナミクスにおける重要な段階を示している。
• サンプルサイズはスペクトル構造に系統的な影響を与える：より大きなトレーニングデータセットは、より安定的で歪みの少ないスペクトルをもたらし、外れ値の大きさが小さくなり、バルク分布が広がる。
• 階層的分解により、B₂（クラス間分散）がGスペクトルのバルクに最も寄与していることが判明した一方、A₁は外れ値固有値を支配しており、それぞれが曲率と一般化の異なる役割を果たしていることが示唆された。
• 正規化を施したLanczosおよび部分空間反復法を用いたスペクトル近似フレームワークは、数百万〜数千万パラメータを持つモデルに対しても、安定的かつ高精度なスペクトル推定を達成した。