[論文レビュー] The Full Spectrum of Deep Net Hessians At Scale: Dynamics with Sample Size.

Vardan Papyan|arXiv (Cornell University)|Nov 16, 2018

Model Reduction and Neural Networks被引用数 18

ひとこと要約

この論文は、実際のデータ上で訓練された数十万のパラメータを持つ大規模な深層ニューラルネットワークのヘシアン固有値スペクトルを、高度な数値線形代数を用いて効率的に近似する。ヘシアンのスパイク構造（連続したバルクから分離された外れ値）が確認され、トレーニングとデータサイズに応じてヘシアンを成分に分解して、それぞれの進化を分析する。

ABSTRACT

We apply state-of-the-art tools in modern high-dimensional numerical linear algebra to approximate efficiently the spectrum of the Hessian of modern deepnets, with tens of millions of parameters, trained on real data. Our results corroborate previous findings, based on small-scale networks, that the Hessian exhibits spiked behavior, with several outliers isolated from a continuous bulk. We decompose the Hessian into different components and study the dynamics with training and sample size of each term individually.

研究の動機と目的

• 実世界のデータで訓練された大規模な深層ニューラルネットワークにおけるヘシアンの固有値特性を理解すること。
• 数十万のパラメータを持つモデルにまで、従来の小規模なモデルでのヘシアンスパイク行動に関する知見を拡張すること。
• ヘシアンを明確な成分に分解し、トレーニング中および異なるデータサイズにおける個々のダイナミクスを分析すること。
• トレーニングの進行とデータセットサイズの変化が、ヘシアン固有値スペクトルの構造と構成に与える影響を調査すること。

提案手法

• 大規模モデルにおけるヘシアン固有値スペクトルを効率的に近似するために、高次元数値線形代数分野の最先端のツールを活用する。
• フルヘシアン計算の計算不能性に対処するため、ランダム化されたSVDおよびトレース推定技術を適用する。
• 個々の分析のため、データ依存項や重み正則化項などの成分にヘシアンを分解する。
• トレーニングエポックと増加するデータサイズに伴い、固有値分布および外れ値成分の進化を追跡する。
• 実験的固有値分布解析を用いて、ヘシアンスペクトルにおけるバルク領域とスパイク領域を同定する。
• 異なるネットワークアーキテクチャおよびデータ環境間でのスペクトルダイナミクスの比較を通じて、結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 実データで訓練された大規模な深層ネットワークのヘシアンスペクトルは、小規模モデルと比較して、スパイク行動においてどのように異なるか？
• RQ2 ヘシアンのどの成分（例：データ、正則化）がスペクトルにおける外れ値の出現に最も寄与しているか？
• RQ3 大規模モデルにおけるトレーニング中に、ヘシアンの固有値分布はどのように進化するか？
• RQ4 トレーニングデータサイズを増加させることで、ヘシアンスペクトルの構造と安定性はどのように変化するか？
• RQ5 成分ごとの分解によって、高次元の深層学習モデルにおけるヘシアン固有値のダイナミクスをどの程度明確にできるか？

主な発見

• 実データで訓練された大規模な深層ニューラルネットワークのヘシアンは、明確なスパイク構造を示しており、連続したバルクから分離された複数の孤立した固有値が観察され、小規模モデルの報告と整合的である。
• 外れ値固有値は主にヘシアンのデータ依存成分によって駆動されており、特に最小値回りの損失関数の湾曲度に起因する。
• トレーニングが進行するにつれ、ヘシアンスペクトルのバルクは比較的安定しているが、外れ値の数と大きさは非単調に変化する。
• トレーニングデータサイズを増加させることで、ヘシアンスペクトルはより安定的で、歪みが少なくなり、極端な固有値の顕著さが低下する。
• 成分ごとの分解により、正則化項がバルクに均等に寄与しているのに対し、データ項が外れ値スペクトルを支配していることが明らかになった。
• 観察されたスペクトルダイナミクスは、異なるアーキテクチャ間で一貫しており、大規模な深層ネットワークにおけるヘシアン構造に一般化可能なパターンが存在することが示唆される。