[論文レビュー] Generalisation error in learning with random features and the hidden manifold model

Federica Gerace, Bruno Loureiro+3 more|arXiv (Cornell University)|Feb 21, 2020

Gaussian Processes and Bayesian Inference被引用数 32

ひとこと要約

本論文は、ランダム特徴と隠れ多様体モデルを横断する高次元一般化線形モデルに対する閉形式の漸近的一般化誤差を導出し、ロジスティック損失のダブルディセントを明らかにし、直交特徴投影とガウス特徴投影を比較する。

ABSTRACT

We study generalised linear regression and classification for a synthetically generated dataset encompassing different problems of interest, such as learning with random features, neural networks in the lazy training regime, and the hidden manifold model. We consider the high-dimensional regime and using the replica method from statistical physics, we provide a closed-form expression for the asymptotic generalisation performance in these problems, valid in both the under- and over-parametrised regimes and for a broad choice of generalised linear model loss functions. In particular, we show how to obtain analytically the so-called double descent behaviour for logistic regression with a peak at the interpolation threshold, we illustrate the superiority of orthogonal against random Gaussian projections in learning with random features, and discuss the role played by correlations in the data generated by the hidden manifold model. Beyond the interest in these particular problems, the theoretical formalism introduced in this manuscript provides a path to further extensions to more complex tasks.

研究の動機と目的

• ランダム特徴と隠れ多様体データを含む高次元設定における一般化理解を動機づける。
• リプリカ法を用いて漸近的一般化誤差の閉形式表現を導出する。
• ダブルディセントなどの現象と特徴行列の構造が一般化に与える影響を分析する。
• 隠れ多様体モデルにおけるデータ相関の役割を明示する。
• 研究対象モデルを超えるより複雑なタスクへ拡張可能な枠組みを提供する。

提案手法

• 高次元の一般化線形モデルをリッジ正則化損失と汎用的な特徴行列Fを用いて定式化する。
• リプリカ法を適用して、n,p,d→∞極限での閉形式の一般化誤差表現（Eq. 2.1）を得る。固定比 α=n/p および γ=d/p。
• ガウス同値性（GET）を用いて問題をガウス共変量線形モデル（Eq. 2.10）へ写像する。
• 複製された鞍点方程式（Eq. 2.4）を導出して、オーバップ（q_s, q_w, m_s）と関連量を得る。
• Zeta/Y 関数（Eqs. 2.5–2.6）を用いて訓練損失とテスト損失を評価し、ダブルディセントなどの観測可能な現象へ結びつける。
• ランダムなガウス特徴行列と直交特徴行列の双方で、分析式を検証する数値シミュレーションを提供する。

実験結果

リサーチクエスチョン

• RQ1 ランダム特徴と隠れ多様体構造を持つ高次元の一般化線形モデルにおける漸近的一般化誤差は何か？
• RQ2 特徴行列の選択（ガウス vs 直交）が学習性能とサンプル効率にどのように影響するか？
• RQ3 この枠組みでロジスティック回帰はダブルディセント/補間ピークを示すことができるか、そしてこれらのピークはどこで発生するか？
• RQ4 データ次元と潜在次元の観点から、隠れ多様体モデルの位相図はどうなるか？
• RQ5 複製ガウス等価性は、ガウス共変量を越えてより一般的な特徴構造へ拡張できるか？

主な発見

• 著者らは高次元極限（Eq. 2.1）における一般化誤差 ε_g の閉形式表現を得ている。
• ロジスティック回帰で補間閾値にピークが現れるダブルディセント挙動を示し、それが彼らのモデルにも一般化している。
• 直交特徴投影は、ランダム特徴を用いた学習においてガウスランダム投影よりも優れている。
• 高次元モデルの位相図を導出し、一般化が周囲次元と潜在次元の比にどのように依存するかを説明している。
• 複製ガウス等価性は問題をガウス共変量線形モデル（Eq. 2.10）へ写像し、控えめなサイズでもシミュレーションと一致する。
• この枠組みはさまざまな損失関数に対応し、リッジ回帰やロジスティック損失を含む複数の設定で正確であることを証明している。