[論文レビュー] Learning curves for deep structured Gaussian feature models

Jacob A. Zavatone-Veth, Cengiz Pehlevan|arXiv (Cornell University)|Mar 1, 2023

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

この論文は、統計物理学のレプリカ法を用いて、構造的ガウス重みをもつ深層線形ランダム特徴マップの学習曲線を導出する。最初の層における重みの異方性は一般化を向上させるが、より深い層における構造は一般的に有害であり、パワー則的重みスペクトルに対してスケーリング則が不変である。結果はベイズ推定器にも拡張可能であり、事前分散が有益な構造を可能にする。

ABSTRACT

In recent years, significant attention in deep learning theory has been devoted to analyzing when models that interpolate their training data can still generalize well to unseen examples. Many insights have been gained from studying models with multiple layers of Gaussian random features, for which one can compute precise generalization asymptotics. However, few works have considered the effect of weight anisotropy; most assume that the random features are generated using independent and identically distributed Gaussian weights, and allow only for structure in the input data. Here, we use the replica trick from statistical physics to derive learning curves for models with many layers of structured Gaussian features. We show that allowing correlations between the rows of the first layer of features can aid generalization, while structure in later layers is generally detrimental. Our results shed light on how weight structure affects generalization in a simple class of solvable models.

研究の動機と目的

• 最初の層の重み行列の行間の相関——つまり重みの異方性——が、深層ランダム特徴マップにおける一般化に与える影響を理解すること。
• 独立同分布の重みを仮定する従来のガウス同等定理を、構造的重み分布に拡張すること。
• より深い層における相関が、リッジレスおよびベイズ推定器における一般化性能を低下させるか、あるいは向上させるかを調査すること。
• レプリカトリックを用いて、任意の重み共分散構造をもつ深層線形RFMの漸近的一般化誤差を導出すること。
• 実世界の深層学習に関連して、重みとデータの両方におけるパワー則スペクトルに対するスケーリング則の頑健性を検討すること。

提案手法

• 統計力学のレプリカ法を用いて、構造的ガウス重みをもつ深層線形ランダム特徴マップにおける漸近的一般化誤差を計算する。
• 特徴カーネルの固有値スペクトルを分析し、重み共分散統計を組み込むことで、リッジレス極限における一般化誤差の展開を導出する。
• ガウス同等原理を適用して、非線形RFMを有効なノイズをもつ線形モデルに変換し、解析的取り扱いを可能にする。
• 逆幅（αℓ）における摂動展開を導出し、一般化誤差を1/αℓの級数として表現し、重みの異方性の影響を捉える。
• 熱的分散項と事前ハイパーパrameterを組み込むことで、結果をベイズ・ギブズ推定器に拡張する。
• 行列ガウスアンサンブルのスペクトル統計を用いて、重み行列の特異値の期待値（例：E[σ̃ℓ] および E[σ̃ℓ²]）を計算する。

実験結果

リサーチクエスチョン

• RQ1 最初の層の重み行列に相関を導入することで、深層線形ランダム特徴マップにおける一般化が向上するか？
• RQ2 リッジレス極限において、最初の層を除く隠れ層における重み構造が一般化性能に与える影響は？
• RQ3 重みとデータのスペクトルにおけるパワー則指数の変化に対して、一般化のスケーリング則は頑健か？
• RQ4 ベイズ推定において、重みの異方性は有益である可能性があるか？その場合、どのような条件下か？
• RQ5 レプリカ法により導出された漸近的一般化誤差式は、i.i.d. ガウス分布を超える構造的重み分布に対しても、どの程度有効か？

主な発見

• 最初の層における重みの異方性——具体的には最初の層重み行列の行間の相関——は、有効なカーネルノルムを低下させることで一般化を向上させることができる。
• より深い層（L ≥ 2）における構造は、一般的にリッジレス極限において一般化を損なう。これは、有効なカーネルノルムと一般化誤差の増加に起因する。
• 重みとデータの両方におけるパワー則スペクトルに対して、一般化誤差の漸近的スケーリング（データサイズおよびネットワーク幅の関数として）は変化せず、スペクトル構造に対して頑健であることが示された。
• ベイズ・ギブズ推定器においては、十分に大きな事前分散があれば、重みの異方性が有益であることが示された。これは、事前分布が表現学習を可能にする役割を果たす可能性を示唆する。
• 逆幅（1/αℓ）における一般化誤差展開では、最初の層の異方性が1/α₁項として寄与し、主要項の誤差を修正するが、より深い層の寄与は同様であるが、負の影響をもつ。
• リッジレスおよびベイズ設定の両方において導出された一般化誤差式は、漸近的極限において正確であり、重み行列のスペクトルモーメントに明示的に依存する。