[论文解读] The Impact of Regularization on High-dimensional Logistic Regression

Fariborz Salehi, Ehsan Abbasi+1 more|arXiv (Cornell University)|Jun 10, 2019

Statistical Methods and Inference参考文献 34被引用 27

一句话总结

本文通过一组六个非线性方程，对高维设定下的正则化逻辑回归（RLR）进行了精确的渐近分析，实现了对均方误差和支撑恢复概率等性能度量的精确计算。该框架推广了先前关于最大似然估计的研究，为ℓ₁-和ℓ₂²-正则化情形提供了显式表达式，并确定了可提升估计精度的最优正则化参数。

ABSTRACT

Logistic regression is commonly used for modeling dichotomous outcomes. In the classical setting, where the number of observations is much larger than the number of parameters, properties of the maximum likelihood estimator in logistic regression are well understood. Recently, Sur and Candes have studied logistic regression in the high-dimensional regime, where the number of observations and parameters are comparable, and show, among other things, that the maximum likelihood estimator is biased. In the high-dimensional regime the underlying parameter vector is often structured (sparse, block-sparse, finite-alphabet, etc.) and so in this paper we study regularized logistic regression (RLR), where a convex regularizer that encourages the desired structure is added to the negative of the log-likelihood function. An advantage of RLR is that it allows parameter recovery even for instances where the (unconstrained) maximum likelihood estimate does not exist. We provide a precise analysis of the performance of RLR via the solution of a system of six nonlinear equations, through which any performance metric of interest (mean, mean-squared error, probability of support recovery, etc.) can be explicitly computed. Our results generalize those of Sur and Candes and we provide a detailed study for the cases of $\ell_2^2$-RLR and sparse ($\ell_1$-regularized) logistic regression. In both cases, we obtain explicit expressions for various performance metrics and can find the values of the regularizer parameter that optimizes the desired performance. The theory is validated by extensive numerical simulations across a range of parameter values and problem instances.

研究动机与目标

• 解决高维逻辑回归中最大似然估计的局限性，其中参数数量与样本数量相当或超过样本数量。
• 建立一个严格的理论框架，用于分析考虑结构化参数向量（例如稀疏、低秩）的正则化逻辑回归（RLR）。
• 为一般凸正则化下的关键性能度量（如均值、均方误差和支撑恢复概率）提供系统化的计算方法。
• 将Sur和Candes（2019）关于无正则化MLE的结果扩展至正则化情形，提供统一的分析方法。

提出的方法

• 本文推导出一组六个未知数的非线性方程，用于表征在高维渐近下RLR的渐近性能。
• 该系统利用高维渐近统计和近似消息传递（AMP）理论的工具推导得出，借助正则化项的近亲算子。
• 性能度量通过求解该系统获得，其结果依赖于真实参数向量的分布以及正则化项所引入的结构。
• 对于ℓ₂²-正则化，近亲算子以闭式表达，使系统简化为三个方程。
• 对于ℓ₁-正则化，分析使用q-函数并结合近亲算子的显式表达式，以计算支撑恢复概率。
• 该框架允许对正则化参数进行优化，以最小化估计误差或最大化恢复精度。

实验结果

研究问题

• RQ1 在样本数n与参数数p相当的高维情形下，正则化如何影响逻辑回归估计量的偏差和均方误差？
• RQ2 能否在高维渐近下，为正则化逻辑回归的性能度量（如支撑恢复、均方误差）建立精确的分析表征？
• RQ3 使估计误差最小化或支撑恢复概率最大化的正则化参数的最优值是什么？
• RQ4 当由于数据稀疏性导致MLE不存在时，RLR的性能与无正则化MLE相比如何？
• RQ5 该理论框架能否推广至ℓ₁和ℓ₂²之外的一般凸正则化器？正则化器的结构如何影响解？

主要发现

• 本文建立了一组六个非线性方程，精确表征了正则化逻辑回归的渐近性能，使所有局部-Lipschitz性能度量均可精确计算。
• 对于ℓ₂²-正则化逻辑回归，该系统简化为三个方程，并推导出使均方误差最小化的最优正则化参数的显式表达式。
• 对于ℓ₁-正则化逻辑回归，可利用从近亲算子导出的q-函数，显式计算正确支撑恢复的概率。
• 该框架表明，即使在最大似然估计器不存在的区域，正则化也能实现一致的参数恢复。
• 数值模拟在广泛的参数值和问题实例中验证了理论预测的准确性，确认了渐近分析的精确性。
• 结果推广了Sur和Candes的先前工作，在无正则化情形下恢复了他们的三元方程系统作为特例。