[論文レビュー] A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent

Zhenyu Liao, Romain Couillet+1 more|arXiv (Cornell University)|Jun 8, 2020

Random Matrices and Applications参考文献 61被引用数 39

ひとこと要約

本稿は、標本サイズ $n$、入力次元 $p$、特徴次元 $N$ がすべて大きくかつ同程度に増大する高次元的状態において、ランダムフォーリエ特徴（RFF）回帰の正確なランダム行列理論的解析を提示する。訓練誤差およびテスト誤差の正確な漸近的表現を導出し、$N/n \approx 1/2$ でアンダーパラメータ化とオーバーパラメータ化の領域の間で鋭い相転移が発生することを明らかにした。また、強い分布的仮定に依存せずにRFFリッジ回帰におけるダブルデセント現象を解明した。得られた結果は、MNIST や Fashion-MNIST といった実世界のデータセットでも検証された。

ABSTRACT

This article characterizes the exact asymptotics of random Fourier feature (RFF) regression, in the realistic setting where the number of data samples $n$, their dimension $p$, and the dimension of feature space $N$ are all large and comparable. In this regime, the random RFF Gram matrix no longer converges to the well-known limiting Gaussian kernel matrix (as it does when $N o \infty$ alone), but it still has a tractable behavior that is captured by our analysis. This analysis also provides accurate estimates of training and test regression errors for large $n,p,N$. Based on these estimates, a precise characterization of two qualitatively different phases of learning, including the phase transition between them, is provided; and the corresponding double descent test error curve is derived from this phase transition behavior. These results do not depend on strong assumptions on the data distribution, and they perfectly match empirical results on real-world data sets.

研究の動機と目的

• 古典的な $N \to \infty$ の極限を超えて、$n$、$p$、$N$ がすべて大きくかつ同程度に増大する現実的で高次元的な状態におけるRFF回帰の分析を目的とする。
• $N$ が $n$ や $p$ に対して漸近的に大きくない場合に、RFFグラム行列の漸近的挙動を特定すること。この場合、ガウスカーネル近似は成立しない。
• 一般のデータ分布に対して、RFFリッジ回帰における訓練誤差およびテスト誤差の正確な漸近的表現を導出すること。
• アンダーパラメータ化とオーバーパラメータ化の学習領域の間の相転移を同定・解明し、ダブルデセント現象と関連付けること。

提案手法

• ランダム行列理論を用いて、$n, p, N \to \infty$ の二重漸近的状態（$n/N \to c$）において、RFFグラム行列 $\Sigma_X^T \Sigma_X / N$ の漸近的決定的同等（A.D.E.）を導出する。
• マルチェンコ＝パストール型方程式を用いてグラム行列のリゾルベントを特徴づけ、リッジ回帰性能の正確な漸近的解析を可能にする。
• A.D.E. およびリゾルベントのトレースに基づき、コサインやサインなどの一般のリプシッツ連続非線形関数を含むRFFにおける漸近的訓練誤差およびテスト誤差の閉形式表現を導出する。
• $N$ が $n$ に対して大きくない場合に、RFFグラム行列と極限ガウスカーネルの間のスペクトルノルムの不一致を補正するための補正項を導入する。
• 分布シフトをモデル化するため、ノイズを付加したデータ行列 $\hat{X} = X + \sigma \varepsilon$ を用いて、トレーニングとテストの類似性をモデル化する。
• MNIST、Fashion-MNIST、Kannada-MNIST データセットを用い、$N$、$n$、$\lambda$ を変化させた広範な実験を通じて理論的予測の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 $n$、$p$、$N$ が同時に同程度に増大する状態（$N \to \infty$ の極限ではない）において、RFFグラム行列はどのように漸近的に振る舞うか？
• RQ2 RFFリッジ回帰におけるアンダーパラメータ化とオーバーパラメータ化の領域の間の正確な相転移点は何か？また、ダブルデセント曲線とどのように関連するか？
• RQ3 ランダム行列理論から導出された漸近的誤差推定値は、実世界のデータにおける実測結果とどの程度正確か？
• RQ4 ノイズを用いてモデル化されるトレーニング・テストの分布的不一致が、RFF回帰における一般化誤差に与える影響は何か？

主な発見

• $n$、$p$、$N$ がすべて大きくかつ同程度に増大する場合、RFFグラム行列 $\Sigma_X^T \Sigma_X / N$ はスペクトルノルムにおいてガウスカーネル行列に収束しない。これは、古典的な漸近的近似が無効であることを示している。
• $N/n \approx 1/2$ で正確な相転移が発生し、テスト誤差に鋭いピークが現れる。これはアンダーパラメータ化とオーバーパラメータ化の領域の境界を示している。
• RFFリッジ回帰におけるダブルデセント曲線は、相転移から自然に生じる。テスト誤差は減少し、$2N = n$ でピークに達し、以降 $N$ が $n/2$ を超えて増大するにつれて単調に減少する。
• A.D.E. およびリゾルベントトレースに基づく理論的漸近的訓練誤差およびテスト誤差推定値は、MNIST、Fashion-MNIST、Kannada-MNIST において、中程度の $n$、$p$、$N$ に対しても実測結果と非常に良く一致する。
• ノイズ $ε$ を用いてトレーニングとテストの類似性をモデル化した場合、テスト誤差はノイズ分散 $σ^2$ が正則化パラメータ $λ$ を超えると訓練誤差から著しく逸脱する。これは理論の予測である $\sigma^2 \approx \lambda$ における鋭い転移を確認している。
• 非ガウス分布のデータに対しても、漸近的解析は正確に保たれ、複数のクラスおよび特徴次元において実世界の画像データセットとの強い一致が確認された。