[論文レビュー] A Precise Performance Analysis of Learning with Random Features

Oussama Dhifallah, Yue M. Lu|arXiv (Cornell University)|Aug 27, 2020

Sparse and Compressive Sensing Techniques参考文献 27被引用数 22

ひとこと要約

本稿は、ガウス分布に従うデータにおけるランダム特徴量による学習の明確な漸近的解析を提示し、過小パラメータ化および過大パラメータ化の両領域において、訓練誤差および一般化誤差の正確な特徴付けを確立している。均一なガウス的等価性仮説を用いて、一般の特徴量行列、活性化関数、凸損失関数に対して誤差性能の閉形式表現を導出し、正則化、損失関数、活性化関数が二重降下現象を緩和する上で果たす重要な役割を明らかにしている。

ABSTRACT

We study the problem of learning an unknown function using random feature models. Our main contribution is an exact asymptotic analysis of such learning problems with Gaussian data. Under mild regularity conditions for the feature matrix, we provide an exact characterization of the asymptotic training and generalization errors, valid in both the under-parameterized and over-parameterized regimes. The analysis presented in this paper holds for general families of feature matrices, activation functions, and convex loss functions. Numerical results validate our theoretical predictions, showing that our asymptotic findings are in excellent agreement with the actual performance of the considered learning problem, even in moderate dimensions. Moreover, they reveal an important role played by the regularization, the loss function and the activation function in the mitigation of the "double descent phenomenon" in learning.

研究の動機と目的

• ガウス分布に従うデータにおけるランダム特徴量モデルの訓練誤差および一般化誤差の正確な漸近的特徴付けを提供すること。
• 過大パラメータ化領域にとどまらず、過小パラメータ化の設定を含む性能解析を拡張すること。
• 正則化、損失関数、活性化関数の相互作用が一般化性能に与える影響を調査すること。
• 中程度の次元数の設定において数値実験を通じて理論的予測の妥当性を検証すること。
• 均一なガウス的等価性仮説（uGEC）を、ランダム特徴量学習における漸近的解析の厳密な基礎として確立すること。

提案手法

• 元のランダム特徴量最適化問題の漸近的等価なガウス的定式化を導出し、特徴量行列をガウス的プロキシに置き換える。
• 均一なガウス的等価性仮説（uGEC）を適用し、構造を持つ特徴量行列をμ₀、μ₁、μ⋆を含むガウス的ベクトルの組み合わせに置き換える。
• 高次元確率および漸近的解析の道具を用いて、次元n → ∞の下での最適化問題の極限的挙動を特徴付ける。
• 変数qとβにおける漸近的コスト関数の厳密な凸性を確立し、解の一意性と安定性を保証する。
• 確率的最適化および集合の偏差理論からの収束結果を用いて、最適解およびコストの概収束を証明する。
• 理論的予測の妥当性を数値シミュレーションにより検証し、中程度の次元数においても理論と非常に良好に一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 ガウス分布に従うデータを用いたランダム特徴量モデルにおいて、訓練誤差および一般化誤差はどのように漸近的に振る舞うか？
• RQ2 均一なガウス的等価性仮説は、ランダム特徴量学習の性能をどれほど正確に表現できるか？
• RQ3 正則化、活性化関数、損失関数が一般化誤差における二重降下現象にどのように共同で影響を与えるか？
• RQ4 過小パラメータ化および過大パラメータ化の両領域において、一般化誤差および訓練誤差の正確な漸近的表現を導出できるか？
• RQ5 特徴量行列の構造は、ランダム特徴量モデルの漸近的性能を決定づける役割を果たすか？

主な発見

• 一般の特徴量行列、活性化関数、凸損失関数に対して、漸近的訓練誤差および一般化誤差が閉形式で正確に特徴付けられている。
• 提案されたガウス的定式化は、中程度の次元数においても性能を正確に予測できており、数値結果は理論と極めて良好に一致している。
• 正則化が、特に過大パラメータ化領域において二重降下現象を緩和する上で重要な役割を果たすことが示された。
• 活性化関数の選択は一般化誤差に顕著な影響を与え、特定の非線形関数がより優れた性能を示す。
• 損失関数は最適化の形状に影響を与え、二重降下の緩和に貢献しており、凸損失関数は安定な収束を可能にする。
• 漸近的解析により、最適解が確率的に真の最小化子に収束することが確認され、理論的保証に基づく収束速度が得られている。