[論文レビュー] Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions

Hossein Taheri, Ramtin Pedarsani+1 more|arXiv (Cornell University)|Jun 16, 2020

Sparse and Compressive Sensing Techniques参考文献 43被引用数 17

ひとこと要約

本稿は、ガウス型特徴を伴う高次元一般化線形モデルにおけるリッジ正則化付き経験リスク最小化（RERM）の推定誤差および予測誤差に対する最初の基本的限界を確立する。高次元漸近的枠組みを用いて、損失関数、正則化パラメータ、および過パrameter化比 δ = n/m に依存するタイトな下界を導出する。その結果、信号強度が低いロジスティックモデルでは最適にチューニングされた最小二乗法がほぼ最適であるが、信号強度が高くなると非最適であることが明らかになった。

ABSTRACT

Empirical Risk Minimization (ERM) algorithms are widely used in a variety of estimation and prediction tasks in signal-processing and machine learning applications. Despite their popularity, a theory that explains their statistical properties in modern regimes where both the number of measurements and the number of unknown parameters is large is only recently emerging. In this paper, we characterize for the first time the fundamental limits on the statistical accuracy of convex ERM for inference in high-dimensional generalized linear models. For a stylized setting with Gaussian features and problem dimensions that grow large at a proportional rate, we start with sharp performance characterizations and then derive tight lower bounds on the estimation and prediction error that hold over a wide class of loss functions and for any value of the regularization parameter. Our precise analysis has several attributes. First, it leads to a recipe for optimally tuning the loss function and the regularization parameter. Second, it allows to precisely quantify the sub-optimality of popular heuristic choices: for instance, we show that optimally-tuned least-squares is (perhaps surprisingly) approximately optimal for standard logistic data, but the sub-optimality gap grows drastically as the signal strength increases. Third, we use the bounds to precisely assess the merits of ridge-regularization as a function of the over-parameterization ratio. Notably, our bounds are expressed in terms of the Fisher Information of random variables that are simple functions of the data distribution, thus making ties to corresponding bounds in classical statistics.

研究の動機と目的

• n および m が比例する割合で ∞ に発散する高次元設定における凸経験リスク最小化（ERM）の基本的統計的限界を同定すること。
• 広範な損失関数および正則化パラメータのクラスにわたるリッジ正則化付きERMの推定誤差および予測誤差に対するタイトな下界を導出すること。
• 高次元GLMにおける一般的なヒューリスティックな選択（例：リッジ正則化付き最小二乗法（RLS））の非最適性を定量化すること。
• データ分布および過パrameter化比 δ に基づいて、損失関数および正則化パラメータ λ の最適チューニングのための手順を提示すること。
• 特に高次元過パラメータ化領域において、リッジ正則化の役割を δ の関数として評価すること。

提案手法

• m, n → ∞ かつ δ = m/n が固定される高次元漸近的枠組みを用いる。
• 推定器の極限的性能を特徴付ける非線形方程式系を用いて、リッジ正則化付きERMを分析する。
• 線形モデルの場合、方程式系の代数的構造を分析することで二乗推定誤差の下界を導出する。
• 二値モデルの場合、損失関数およびリンク関数にやや弱い仮定を置くことで、性能（相関または分類誤差）を一意に特徴付ける3つの非線形方程式系を確立する。
• データ分布から導かれる十分統計量のフィッシャー情報量を用いて、基本的誤差限界の閉形式表現を導出する。
• 線形モデルおよびロジスティックモデルにおいて、RLS、非正則化ERM、最適損失関数の間で理論的限界を数値実験により検証する。

実験結果

リサーチクエスチョン

• RQ1 高次元一般化線形モデルにおけるリッジ正則化付きERMの最小達成可能推定誤差および予測誤差は何か？
• RQ2 高次元領域におけるRERMの性能は、損失関数および正則化パラメータ λ の選択にどのように依存するか？
• RQ3 リッジ正則化付き最小二乗法（RLS）の理論的最小誤差に対する非最適性ギャップは何か？
• RQ4 過パラメータ化比 δ = n/m に応じて、リッジ正則化の利点はどのように変化するか？
• RQ5 損失関数および λ の最適チューニングのための手順を、基本的誤差限界に到達するために導出可能か？

主な発見

• ラプラスノイズを伴う線形モデルでは、最適にチューニングされたRERMはRLSよりも低い誤差下限を達成しており、RLSがこの設定で非最適であることを示している。
• 信号強度が低いロジスティックモデル（‖x₀‖₂ = 1）では、最適にチューニングされたRLSはほぼ最適であり、非最適性ギャップが小さい。
• 信号強度が高いロジスティックモデル（‖x₀‖₂ = 10）では、RLSの非最適性ギャップが顕著に増大し、RLSが著しく最適でないことが示された。
• 基本的誤差下限は、データ分布から導かれる十分統計量のフィッシャー情報量の形で表現されており、古典的統計理論と結びついている。
• 非常に過パラメータ化領域（δ → 1）では、非正則化誤差と正則化誤差の下限の差が消滅し、正則化の重要性が低下することが示された。
• 非常に低パラメータ化領域（δ → ∞）では、基本的誤差下限 σ⋆² と非正則化誤差 σureg² の比が1に近づき、δ が大きい場合には正則化の影響が無視できることが確認された。