[論文レビュー] More Than a Toy: Random Matrix Models Predict How Real-World Neural Representations Generalize

Alexander Wei, Wei Hu+1 more|arXiv (Cornell University)|Mar 11, 2022

Neural Networks and Applications被引用数 8

ひとこと要約

この論文は、特に一般化交差検証（GCV）推定器を用いたランダム行列理論が、過パrameter化されたニューラルネットワークにおける汎化リスクを正確に予測できることを示している。従来のノルムおよびスペクトルに基づく境界よりも優れている。GCVが局所的ランダム行列法の下で真のリスクに収束することを証明し、表現アライメントが、固有値の減衰よりも、事前学習モデルがよりよく一般化する理由を説明している。

ABSTRACT

Of theories for why large-scale machine learning models generalize despite being vastly overparameterized, which of their assumptions are needed to capture the qualitative phenomena of generalization in the real world? On one hand, we find that most theoretical analyses fall short of capturing these qualitative phenomena even for kernel regression, when applied to kernels derived from large-scale neural networks (e.g., ResNet-50) and real data (e.g., CIFAR-100). On the other hand, we find that the classical GCV estimator (Craven and Wahba, 1978) accurately predicts generalization risk even in such overparameterized settings. To bolster this empirical finding, we prove that the GCV estimator converges to the generalization risk whenever a local random matrix law holds. Finally, we apply this random matrix theory lens to explain why pretrained representations generalize better as well as what factors govern scaling laws for kernel regression. Our findings suggest that random matrix theory, rather than just being a toy model, may be central to understanding the properties of neural representations in practice.

研究の動機と目的

• 過パrameter化された深層学習モデルにおける現実世界の一般化を捉えるために必要な理論的仮定を特定すること。
• 大規模なニューラルネットワークと実データを用いた現実的状況において、古典的な一般化境界（ノルムおよびスペクトルに基づくもの）が成り立つかどうかを評価すること。
• 事前学習された表現が、固有値の減衰が悪いにもかかわらず、ランダム初期化されたものよりも一般化性能が優れている理由を調査すること。
• ニューラル表現上のカーネルリッジ回帰におけるスケーリング法則を支配する要因を同定すること。
• 一般化性能を予測するために、アライメントおよび固有値減衰を推定するための標本効率の良い手法を開発すること。

提案手法

• CIFAR-100上でResNet-50およびResNet-34の表現を用いて、実データを用いたカーネルリッジ回帰の一般化リスクを実験的に評価する。
• 一般化交差検証（GCV）推定器とノルムベースおよびスペクトルベースの一般化予測子の性能を比較する。
• 局所的ランダム行列法（Knowles & Yin, 2017）が成り立つ限り、GCVが真の一般化リスクに収束することを証明する。これは、非等方的共変量および高ノルムの真の関数に対しても成り立つ。
• 近年の高次元リッジ回帰に関するランダム行列解析を、現実的なニューラル表現を含む設定に一般化する。
• GCV推定器を用いて、アライメントおよび固有値減衰のための標本効率の良い推定器を導出し、スケーリング法則の割合を予測する。
• 局所的Marchenko-Pastur法則を実験的に検証する。具体的には、$ f( heta, N) = y^T (XX^T + N heta I)^{-1}y $ が $ ilde{ heta}( heta, N) = ig( extstyle extstylerac{1}{N} extstyle extstylerac{1}{ heta + ilde{ u}_i} ig)^{-1} $ のみに依存することをテストし、データセットサイズにかかわらず一貫性があることを確認する。

実験結果

リサーチクエスチョン

• RQ1 ノルムまたはスペクトルに基づく古典的な一般化境界は、実データで訓練された過パrameter化されたニューラルネットワークにおける一般化リスクを正確に予測できるか？
• RQ2 固有値の減衰が遅いにもかかわらず、なぜ事前学習されたニューラル表現がランダム初期化されたものよりも一般化性能が優れているのか？
• RQ3 ニューラル表現上のカーネルリッジ回帰で観察されるスケーリング法則を支配する要因は何か？
• RQ4 一般化交差検証（GCV）推定器は、データセットサイズや正則化強度が変化しても、一般化リスクを一貫して予測できるか？
• RQ5 特に局所的Marchenko-Pastur法則が、現実的なディープラーニング設定においてどの程度成り立つか？

主な発見

• CIFAR-100でResNet-34の実験的NTKを用いたGCV推定器は、19.9％のテスト誤差を示し、微調整されたResNet（15.9％）よりもリスク予測精度が優れている。
• ノルムに基づく一般化境界は、真の関数のカーネルノルムが実質的に無限大であるため、退化しているか、データセットサイズが増えるにつれて悪化する。
• GCV推定器は、多様な設定で正確に保たれる：データセットサイズ、正則化強度、モデルアーキテクチャ（ResNet-50、ResNet-34）、データ（CIFAR-100）、およびランダムおよび事前学習済みの表現を含む。
• 理論的解析により、局所的ランダム行列法が成り立つ限り、GCVが真の一般化リスクに収束することを証明した。これは、非等方的共変量および高ノルムの真の関数に対しても成り立つ。
• 事前学習済み表現がランダム表現よりも一般化性能が優れているのは、固有値の減衰が速いからではなく、真の関数と母集団共分散行列との間のアライメントが優れているからである。
• ランダム行列理論から導出されたアライメントおよび固有値減衰のための標本効率の良い推定器は、自然データ上のカーネルリッジ回帰のスケーリング法則の割合を正確に予測している。