[論文レビュー] Measurements of Three-Level Hierarchical Structure in the Outliers in the Spectrum of Deepnet Hessians

Vardan Papyan|arXiv (Cornell University)|Jan 24, 2019

Adversarial Robustness in Machine Learning参考文献 24被引用数 26

ひとこと要約

この論文は、深層ニューラルネットワークのヘシアン固有値スペクトルにおける外れ値が、共分散構造に起因するのではなく、勾配の非中心モーメントの2次モーメントに起因することを明らかにした。これらの非中心モーメントは、データサンプル、クラス、およびロジット座標の3段階の階層的構造を示す。この構造を平均化操作によって活用することで、完全な固有値解析を伴わずにヘシアンの主要部分空間を効率的に近似可能であり、複数のアーキテクチャとデータセットで高い精度で検証された。

ABSTRACT

We consider deep classifying neural networks. We expose a structure in the derivative of the logits with respect to the parameters of the model, which is used to explain the existence of outliers in the spectrum of the Hessian. Previous works decomposed the Hessian into two components, attributing the outliers to one of them, the so-called Covariance of gradients. We show this term is not a Covariance but a second moment matrix, i.e., it is influenced by means of gradients. These means possess an additive two-way structure that is the source of the outliers in the spectrum. This structure can be used to approximate the principal subspace of the Hessian using certain "averaging" operations, avoiding the need for high-dimensional eigenanalysis. We corroborate this claim across different datasets, architectures and sample sizes.

研究の動機と目的

• 深層ニューラルネットワークのヘシアンにおける固有値スペクトルの外れ値の原因を解明すること。以前の研究では、この外れ値はG成分（勾配の共分散）に起因するとされていた。
• G成分が真の共分散ではなく、勾配の非中心モーメント行列であることを示し、その外れ値は勾配の非中心平均に起因することを明らかにすること。
• 勾配統計の階層的グルーピングにおける平均化操作を用いて、固有値解析を回避するヘシアンの主要部分空間の近似手法を開発すること。
• さまざまなアーキテクチャ（例：ResNet18, VGG16）、データセット（MNIST, CIFAR10, ImageNet）およびサンプルサイズにおいて、この近似手法の妥当性を検証すること。
• 固有値解析を実行せずに、サンプルサイズの関数として外れ値の大きさと挙動を、勾配平均の構造的性質に基づいて予測すること。

提案手法

• ヘシアンを2つの成分に分解する：H（ガウス＝ニュートン項）とG（勾配の2次モーメント）。Gが固有値スペクトルの外れ値の原因である。
• G行列は $ G = \frac{1}{n} \Delta \Delta^T $ と表現され、ここで $ \Delta $ はサンプル、クラス、ロジット座標でインデックスされた勾配微分の行列である。
• $ \Delta $ の列は、クラス $ c $ とロジット座標 $ c' $ に基づき $ C^2 $ 個のグループに分割され、それぞれにグループ平均 $ \delta_{c,c'} $ と分散 $ \Sigma_{c,c'} $ が定義され、3段階の階層的構造が形成される。
• Gの主要固有値は、$ G_{1+2} = (C-1)\sum_c \delta_c \delta_c^T + \sum_c \delta_c \delta_c^T $ の固有値によってよく近似されることを示した。この行列はクラスとロジット座標に跨るグループ平均を集約したものである。
• この手法は、$ \delta_{c,c'} $ に対する平均化操作を用いた低ランク近似であり、完全なSVDやパワー反復を回避することで、主要部分空間の計算を効率化する。
• 実験的検証には、FastLanczos と LowRankDeflation を用い、複数のアーキテクチャとデータセットで $ G $, $ G_1 $, $ G_2 $, $ G_{1+2} $ のスペクトルを比較した。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークのヘシアンにおける固有値スペクトルの外れ値の原因は何か？また、なぜG成分が真の共分散行列ではないのか？
• RQ2 サンプル、クラス、ロジット座標の3段階にわたる勾配平均の階層的構造が、どのように外れ固有値を生じさせるのか？
• RQ3 固有値解析を一切行わずに、勾配平均への平均化操作のみを用いてヘシアンの主要部分空間を効率的に近似できるか？
• RQ4 外れ値の大きさはトレーニングサンプルサイズにどのように依存するか？また、固有値を計算せずにその挙動を予測できるか？
• RQ5 $ G_1 $, $ G_2 $, $ G_{1+2} $ の近似が真の $ G $ の上位固有値とどの程度一致するか？また、その差異の背後にある要因は何か？

主な発見

• ヘシアンの固有値スペクトルにおける外れ値は、共分散構造ではなく、勾配の非中心2次モーメントに起因する。G成分には平均の減算が行われていないため、真の共分散ではない。
• Gの主要固有値は、$ G_{1+2} $ の固有値によってよく近似される。この行列はクラスとロジット座標に跨るグループ平均を集約したものである。
• $ G_{1+2} $ の上位- $ C $ 個の固有値は支配的であり、$ G_1 $ のそれと密接に一致しており、階層的平均構造が主要部分空間近似に十分であることを示している。
• $ G_0 $（グローバル平均を表す）の固有値は無視できるほど小さく、スペクトルのメインローブ内では1つのシアン点として現れる。
• MNIST, Fashion MNIST, CIFAR10, ImageNet などの全テストデータセットおよび ResNet18, VGG16, ResNet50 などの全アーキテクチャにおいて、$ G_{1+2} $ を用いた近似は、スペクトルにおける真の外れ値を一貫して再現した。
• $ G_{1+2} $ と $ G $ 間の差異は、ランダム行列理論の予測と一貫しており、階層的モデルの堅牢性を確認した。