[論文レビュー] The asymptotic spectrum of the Hessian of DNN throughout training

Arthur Paul Jacot, Franck Gabriel+1 more|arXiv (Cornell University)|Oct 1, 2019

Model Reduction and Neural Networks参考文献 35被引用数 6

ひとこと要約

この論文は、ニューラルタングエント・カーネル（NTK）を活用することで、深層ニューラルネットワーク（DNN）のトレーニング全般にわたるヘシアン固有値スペクトルの完全な理論的特徴付けを提供する。ヘシアンが漸近的に2つの直交成分に分解されることを示しており、I（NTKを介したカーネルPCAに関連）とS（残差項）であり、それらのモーメントが加法的になることで、固定NTKおよび平均場の両状態における初期化時およびトレーニング中における正確なスペクトル解析が可能になる。

ABSTRACT

The dynamics of DNNs during gradient descent is described by the so-called Neural Tangent Kernel (NTK). In this article, we show that the NTK allows one to gain precise insight into the Hessian of the cost of DNNs. When the NTK is fixed during training, we obtain a full characterization of the asymptotics of the spectrum of the Hessian, at initialization and during training. In the so-called mean-field limit, where the NTK is not fixed during training, we describe the first two moments of the Hessian at initialization.

研究の動機と目的

• 最適化ダイナミクスの重要なが、未だ十分に理解されていない側面である、トレーニング中のDNNヘシアンの固有値スペクトルを理論的に記述すること。
• 過パラメータ化されたネットワークにおける平坦なミニマ、サドルポイント、一般化の役割についての未解決の問いを解消すること。
• 固定NTKおよび平均場の両状態において、ニューラルタングエント・カーネル（NTK）を用いてヘシアンの完全なスペクトル的特徴付けを提供すること。
• ヘシアン成分IとSの漸近的直交性を確立し、モーメント加法性を可能にすること。

提案手法

• ヘシアンHを2つの行列に分解：I（半正定値、NTKを介したカーネルPCAに関連）とS（残差項、収束時に消える）。
• 有限幅の極限におけるIとSの漸近的挙動を、データポイント数Nを固定したもとで分析。
• 関数解析とNTKパラメータ化を用いて、Sの一次および二次モーメントを導出し、Tr(S)がトレーニング中に変化するがTr(S²)は一定であることを示す。
• フロベニウスノルム解析を用いて、IとSの漸近的直交性を証明し、ネットワーク幅が∞に近づくと||IS||_F → 0 となることを示す。
• Sの高次モーメントが無限幅極限で消えることを確立し、ヘシアンのスペクトル解析を簡略化する。
• この分解を、初期化時およびトレーニング中の固定NTK状態と、NTKが変化する平均場状態の両方に適用する。

実験結果

リサーチクエスチョン

• RQ1 DNNのヘシアン固有値スペクトルは、特に過パラメータ化された状態においてトレーニング中にどのように変化するか？
• RQ2 ニューラルタングエント・カーネル（NTK）は、初期化時およびトレーニング全般にわたるヘシアンスペクトルの完全な理論的記述を提供できるか？
• RQ3 ヘシアンにおける残差行列Sの役割は何か？ そしてそのモーメントは最適化中にどのように振る舞うか？
• RQ4 ヘシアンの成分IとSは、無限幅極限において漸近的に直交するか？
• RQ5 ヘシアンのスペクトルモーメントはどのように分解され、IとSのモーメントの和として計算可能か？

主な発見

• 行列Iは半正定値であり、その固有値はNTKに関する（重み付き）カーネルPCAの固有値に一致し、主成分に続く多数の小さな固有値を持つ。
• Iの核空間の次元は少なくともP−N以上であり、小さな固有値に起因して初期化時およびトレーニング全般にわたる平坦な方向が生じる。
• 行列Sは収束時に消え、その一次モーメントTr(S)はトレーニング中に変化するが、Tr(S²)は一定のままである。
• Sの高次モーメントは無限幅極限で消えるため、ヘシアンのスペクトル解析が簡略化される。
• 行列IとSは漸近的に直交するため、H = I + Sのk次のモーメントはTr(H^k) ≈ Tr(I^k) + Tr(S^k) を満たす。
• このスペクトル分解は任意のネットワークの深さおよび有界なC⁴非線形関数の一般クラスに対して有効であり、NTKを用いたヘシアンスペクトルの完全な記述を提供する。