[论文解读] Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions

Hossein Taheri, Ramtin Pedarsani+1 more|arXiv (Cornell University)|Jun 16, 2020

Sparse and Compressive Sensing Techniques参考文献 43被引用 17

一句话总结

本文在高维广义线性模型中，针对高斯设计的岭正则化经验风险最小化（RERM）问题，首次建立了估计误差与预测误差的根本极限。基于高维渐近框架，推导出依赖于损失函数、正则化参数及过参数化比率 δ = n/m 的紧致下界，揭示出在信号强度较低时，最优调参的最小二乘法近似最优，但随着信号强度增加，其性能变得次优。

ABSTRACT

Empirical Risk Minimization (ERM) algorithms are widely used in a variety of estimation and prediction tasks in signal-processing and machine learning applications. Despite their popularity, a theory that explains their statistical properties in modern regimes where both the number of measurements and the number of unknown parameters is large is only recently emerging. In this paper, we characterize for the first time the fundamental limits on the statistical accuracy of convex ERM for inference in high-dimensional generalized linear models. For a stylized setting with Gaussian features and problem dimensions that grow large at a proportional rate, we start with sharp performance characterizations and then derive tight lower bounds on the estimation and prediction error that hold over a wide class of loss functions and for any value of the regularization parameter. Our precise analysis has several attributes. First, it leads to a recipe for optimally tuning the loss function and the regularization parameter. Second, it allows to precisely quantify the sub-optimality of popular heuristic choices: for instance, we show that optimally-tuned least-squares is (perhaps surprisingly) approximately optimal for standard logistic data, but the sub-optimality gap grows drastically as the signal strength increases. Third, we use the bounds to precisely assess the merits of ridge-regularization as a function of the over-parameterization ratio. Notably, our bounds are expressed in terms of the Fisher Information of random variables that are simple functions of the data distribution, thus making ties to corresponding bounds in classical statistics.

研究动机与目标

• 刻画在 n 与 m 按比例增长的高维设定下，凸经验风险最小化（ERM）的根本统计极限。
• 为广泛类别的损失函数与正则化参数，推导出岭正则化 ERM 的估计与预测误差的紧致下界。
• 量化常见启发式选择（如岭正则化最小二乘法，RLS）在高维广义线性模型中的次优性。
• 基于数据分布与过参数化比率 δ，提供一种最优调参损失函数与正则化参数 λ 的方法。
• 评估岭正则化在不同 δ 下的作用，尤其在高度过参数化区域。

提出的方法

• 采用高维渐近框架，其中 m, n → ∞ 且 δ = m/n 保持固定。
• 通过刻画估计器极限性能的一组非线性方程，分析岭正则化 ERM。
• 对于线性模型，通过分析方程组的代数结构，推导出平方估计误差的下界。
• 对于二值模型，在损失函数与连接函数满足弱假设下，建立一组唯一刻画性能（相关性或分类误差）的三个非线性方程。
• 利用从数据分布中导出的充分统计量的费舍尔信息，推导出根本误差界限的闭式表达式。
• 通过数值实验验证理论界限，比较线性与逻辑模型中 RLS、无正则化 ERM 与最优损失函数的性能。

实验结果

研究问题

• RQ1 在高维广义线性模型中，岭正则化 ERM 的最小可实现估计与预测误差是多少？
• RQ2 在高维设定下，RERM 的性能如何依赖于损失函数与正则化参数 λ 的选择？
• RQ3 与理论最小误差相比，岭正则化最小二乘法（RLS）的次优性差距是多少？
• RQ4 随着过参数化比率 δ = n/m 的变化，岭正则化的收益如何变化？
• RQ5 能否推导出一种方法，用于最优调参损失函数与 λ，以实现根本误差界限？

主要发现

• 对于拉普拉斯噪声的线性模型，最优调参的 RERM 实现的误差下界低于 RLS，表明在此设定下 RLS 是次优的。
• 对于低信号强度（‖x₀‖₂ = 1）的逻辑模型，最优调参的 RLS 近似最优，因为次优性差距很小。
• 对于高信号强度（‖x₀‖₂ = 10）的逻辑模型，RLS 的次优性差距显著增大，表明 RLS 远非最优。
• 根本误差下界以从数据分布中导出的充分统计量的费舍尔信息表示，将结果与经典统计理论联系起来。
• 在高度过参数化区域（δ → 1），无正则化与正则化误差界限之间的差距消失，表明正则化在此时变得不那么关键。
• 在高度欠参数化区域（δ → ∞），根本误差界限 σ⋆² 与无正则化误差 σureg² 的比值趋近于 1，证实当 δ 较大时，正则化的影响可忽略。