[論文レビュー] Traces of Class/Cross-Class Structure Pervade Deep Learning Spectra

Vardan Papyan|arXiv (Cornell University)|Aug 27, 2020

Sparse and Compressive Sensing Techniques参考文献 74被引用数 8

ひとこと要約

この論文は、深層学習のスペクトルに根本的なクラス/クロスクラス構造が存在することを特定し、スペクトルの外れ値（'スパイク'）や'バンプ'が、フィッシャー情報行列およびヘッセ行列におけるクラス固有の情報に起因することを示している。スペクトルの外れ値とバルクの比が多項ロジスティック回帰における誤分類を予測することを証明し、ネットワークが深さを増すに従いクラスに特徴的な特徴量を直交化する仕組みを示し、KFACのためのランク1補正を提案することで最適化を改善した。

ABSTRACT

Numerous researchers recently applied empirical spectral analysis to the study of modern deep learning classifiers. We identify and discuss an important formal class/cross-class structure and show how it lies at the origin of the many visually striking features observed in deepnet spectra, some of which were reported in recent articles, others are unveiled here for the first time. These include spectral outliers, "spikes", and small but distinct continuous distributions, "bumps", often seen beyond the edge of a "main bulk". The significance of the cross-class structure is illustrated in three ways: (i) we prove the ratio of outliers to bulk in the spectrum of the Fisher information matrix is predictive of misclassification, in the context of multinomial logistic regression; (ii) we demonstrate how, gradually with depth, a network is able to separate class-distinctive information from class variability, all while orthogonalizing the class-distinctive information; and (iii) we propose a correction to KFAC, a well-known second-order optimization algorithm for training deepnets.

研究の動機と目的

• 深層ニューラルネットワークのヘッセ行列およびフィッシャー情報行列におけるスペクトル的特徴の背後にあるクラス/クロスクラス構造を特定・形式化すること。
• 深層学習のスペクトルで観察される目立つスペクトルパターン（外れ値、スパイク、バンプ）の起源を説明すること。
• スペクトルの外れ値とバルクの比が、多項ロジスティック回帰における誤分類を予測できることを示すこと。
• 深層ネットワークが、クラスに特徴的な情報をクラスのばらつきから段階的に分離しながら、それを直交化するプロセスを示すこと。
• 同定された構造に基づき、KFAC最適化アルゴリズムに対するランク1補正を提案すること。

提案手法

• フィッシャー情報行列（FIM）およびヘッセ行列のスペクトル解析を用いて、クラス固有の固有値構造を同定する。
• クラス平均に対応する上位C個の固有値および固有ベクトルを抽出するための部分空間反復法を適用し、正確なスペクトル分解を可能にする。
• 正規化および非正規化を伴うランチョス近似を用いて、大規模な演算子のスペクトルを効率的に推定する。
• 外れ値分布の尾部挙動を解析するためのべき乗則フィッティングを実施し、古典的RMTモデルを除外する。
• FIMの上位C個の固有ベクトルを組み込んだことで、KFACに対するランク1補正を提案し、最適化の安定性を向上させる。
• 制御されたトレーニングプロTOCOLを用いて、MNIST、FashionMNIST、CIFAR10、CIFAR100におけるVGG11、ResNet18、MLPの広範な実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 深層学習のスペクトルにおけるスペクトル的外れ値、スパイク、バンプの起源は何か？
• RQ2 フィッシャー情報行列におけるクラス/クロスクラス構造が、ヘッセ行列のスペクトルに与える影響は何か？
• RQ3 FIMスペクトルにおける外れ値とバルクの比は、多項ロジスティック回帰におけるモデルの誤分類を予測できるか？
• RQ4 ネットワークの内部表現は、深さを増すに従い、クラスに特徴的な情報とクラスのばらつきを分離するプロセスでどのように変化するか？
• RQ5 同定されたスペクトル的構造を、KFACのような2次最適化アルゴリズムの改善に活用できるか？

主な発見

• ヘッセ行列およびFIMにおけるスペクトル的外れ値の数は、常にクラス数Cに等しく、これらはクラス平均の勾配に対応する。
• FIMスペクトルにおける外れ値とバルクの比は、多項ロジスティック回帰における誤分類を予測可能であり、比が大きいほど誤分類リスクが高くなる。
• 部分空間反復法により、外れ値固有値の正確な検出が可能となり、バルク分布の分解能が向上し、従来は見えにくかったスペクトル的特徴が明らかになった。
• ヘッセ行列のスペクトルは、主バルク領域を超えた尾部でべき乗則の減衰を示し、R² > 0.99のフィットを示しており、これは古典的ランダム行列理論（RMT）では説明できないことを示している。
• FIMの上位C個の固有ベクトルに基づくランク1補正をKFACに適用することで、クラス固有情報の内在的幾何構造に適切に一致し、最適化が改善された。
• クラス/クロスクラス構造は、アーキテクチャやデータセットを問わず、高精度なモデル（例：ResNet18）で大規模スケールでも持続的である。