[論文レビュー] Singularity of the Hessian in Deep Learning.

Levent Sagun, Léon Bottou+1 more|arXiv (Cornell University)|Nov 22, 2016

Stochastic Gradient Optimization Techniques参考文献 2被引用数 30

ひとこと要約

この論文は、深層学習の損失関数のヘッセ固有値スペクトルを分析し、二峰性の分布を明らかにした。ゼロに近い部分に密集したバルクはモデルの過パrameter化を示し、散らばった端縁固有値はデータの複雑さを反映している。実験的分析により、バルクのサイズはモデル容量と相関し、端縁固有値は入力データの構造を符号化していることが示された。

ABSTRACT

We look at the eigenvalues of the Hessian of a loss function before and after training. The eigenvalue distribution is seen to be composed of two parts, the bulk which is concentrated around zero, and the edges which are scattered away from zero. We present empirical evidence for the bulk indicating how over-parametrized the system is, and for the edges indicating the complexity of the input data.

研究の動機と目的

• 訓練済みの深層ニューラルネットワークにおけるヘッセ行列のスペクトル的性質を理解すること。
• ヘッセ行列の固有値分布がモデルの過パrameter化とデータの複雑さをどのように反映するかを調査すること。
• ヘッセスペクトルの構造を、深層学習モデルのアーキテクチャ的およびデータ関連の特性と実験的に結びつけること。

提案手法

• 訓練済みの深層ニューラルネットワークの損失関数のヘッセ行列を計算する。
• ヘッセ行列に対してスペクトル解析を実施し、固有値分布を抽出する。
• 固有値スペクトルを二つの成分に分解する：ゼロに近い密集したバルクと、孤立した端縁固有値。
• バルクのサイズと広がりを用いて、モデルの過パrameter化を推定する。
• 端縁固有値の大きさと分布を用いて、データの複雑さを推定する。
• 訓練前後におけるヘッセ行列のスペクトル変化を観察するため、訓練前後でのスペクトル推移を分析する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの訓練過程で、ヘッセ固有値スペクトルはどのように変化するか？
• RQ2 ヘッセ固有値分布のバルクは、モデルの過パrameter化について何を明らかにするか？
• RQ3 端縁固有値は、入力データの内在的複雑さとどのように関係するか？
• RQ4 ヘッセスペクトルは、モデル容量とデータ構造の診断ツールとして機能できるか？
• RQ5 ヘッセスペクトルと一般化性能の間にはどのような関係があるか？

主な発見

• ヘッセ固有値スペクトルは一貫してゼロに近い部分に密集したバルクを示し、深層モデルにおける高い過パrameter化を示している。
• バルクのサイズはモデルの過パrameter化の度合いと相関しており、より大きなバルクはより高いモデル容量を示唆している。
• ゼロから離れて散らばった端縁固有値はランダムではなく、背後にあるデータの複雑さを反映している。
• 端縁固有値の分布は、異なるアーキテクチャやデータセット間で安定しており、データとの構造的関連性を示唆している。
• 収束後もヘッセのスペクトル構造はほとんど変化せず、安定した最適化のランドスケープを示している。
• 非ゼロの端縁固有値が存在することは、過パrameter化領域においても損失関数の表面がすべての方向で平坦ではないことを示している。