[論文レビュー] Universality Laws for High-Dimensional Learning with Random Features

Hong Hu, Yue M. Lu|arXiv (Cornell University)|Sep 16, 2020

Stochastic Gradient Optimization Techniques参考文献 43被引用数 23

ひとこと要約

この論文は、高次元のランダム特徴モデルにおける普遍性則を確立し、その訓練誤差および一般化誤差が、同等の共分散を持つ線形ガウスモデルのそれと漸近的に一致することを証明する。Lindeberg風のアプローチを用い、1つを除いた分析（leave-one-out）と、弱い依存性を持つ変数に対するSteinの手法を組み合わせることで、一般の非線形活性化関数および損失関数のもとで、ガウス的等価性予想を厳密に検証する。

ABSTRACT

We prove a universality theorem for learning with random features. Our result shows that, in terms of training and generalization errors, a random feature model with a nonlinear activation function is asymptotically equivalent to a surrogate linear Gaussian model with a matching covariance matrix. This settles a so-called Gaussian equivalence conjecture based on which several recent papers develop their results. Our method for proving the universality theorem builds on the classical Lindeberg approach. Major ingredients of the proof include a leave-one-out analysis for the optimization problem associated with the training process and a central limit theorem, obtained via Stein's method, for weakly correlated random variables.

研究の動機と目的

• 非線形活性化関数を有するランダム特徴モデルの高次元的状態における普遍性定理を確立すること。
• ランダム特徴モデルが、共分散が一致する線形ガウスモデルと同等に振る舞うというガウス的等価性予想を検証すること。
• 入力次元および特徴次元が大きく、固定されたアスペクト比のもとで、訓練誤差および一般化誤差の極限における分析を行うこと。
• 2次損失や正則化子に限らない、一般の非2次的および非線形な設定への理論的分析を拡張すること。
• 過パラメータ化モデルにおける一般化の理解のための厳密な基礎を、確率的行列理論およびSteinの手法を用いて提供すること。

提案手法

• 特定のランダム特徴の分布に依存しないで普遍性を証明するため、Lindeberg風の手法を用い、ガウス的代替モデルに置き換える。
• 最適重みベクトルが個々の訓練サンプルにどれほど感応するかを制御するため、1つを除いた分析（leave-one-out）を用いることで、測度集中の議論を可能にする。
• 最適化プロセスから生じる弱い相関を持つ確率変数に対して、Steinの手法による中心極限定理を適用する。
• 最適化問題に対する摂動に基づく解析を導入し、重みベクトルのずれとその誤差指標への影響をバインドする。
• 損失関数および正則化子の導関数のモーメント条件および多項式成長制御を用いて、真のモデルとガウス的代替モデルとの差の境界を導出する。
• 訓練誤差および一般化誤差の漸近的挙動が、活性化関数の分布そのものではなく、ランダム特徴の共分散構造にのみ依存することを確立する。

実験結果

リサーチクエスチョン

• RQ1 非線形活性化関数を有するランダム特徴モデルは、高次元において、訓練誤差および一般化誤差の観点から、共分散が一致する線形ガウスモデルに収束するか？
• RQ2 特徴マップの分布が共分散構造を超えて、ランダム特徴モデルの性能にどれほど依存するのか？
• RQ3 2次損失に限らない一般の損失関数および正則化関数に対しても、ガウス的等価性予想を厳密に証明できるか？
• RQ4 訓練データおよび最適化プロセスにおける弱い依存性は、学習誤差の漸近的挙動にどのように影響するか？
• RQ5 普遍性が高次元極限において成立するための損失関数および活性化関数の十分条件は何か？

主な発見

• 非線形活性化関数を有するランダム特徴モデルの訓練誤差および一般化誤差は、共分散行列が一致する線形ガウスモデルのそれらと、同じ決定的極限に収束する。
• ある種のモーメント条件および成長条件を満たす限り、一般の損失関数および正則化関数（非2次的および非滑らかなものも含む）においても、普遍性結果が成り立つ。
• Lindeberg型の議論により、モデルの分布的挙動が特徴の共分散にのみ依存し、高次モーメントには依存しないことが示された。
• 1つを除いた分析（leave-one-out）は、最適重みベクトルが個々のデータポイントにどれほど感応するかを効果的に制御でき、高次元における集中不等式の導出を可能にした。
• 最適化経路における依存性が存在する中でも、弱い依存性を持つ変数に対するSteinの手法の適用により、中心極限定理が成立し、普遍性の主張を支持することができた。
• ランダム特徴モデルとそのガウス的代替モデルとの誤差差は、$ O( ext{polylog}(p)/ ext{poly}(p)) $ のオーダーで減少し、$ p o iginfty $ のとき確率的に収束することが示された。