[论文解读] Regularized M-estimators with nonconvexity: Statistical and algorithmic theory for local optima

Po‐Ling Loh, Martin J. Wainwright|arXiv (Cornell University)|May 10, 2013

Sparse and Compressive Sensing Techniques参考文献 17被引用 185

一句话总结

本文证明，在受限强凸性和正则性条件下，具有非凸损失函数和惩罚函数的正则化M-估计器的所有局部最优解均位于真实参数向量的统计精度范围内。研究进一步证明，诸如复合梯度下降等标准一阶方法可在对数步数内收敛至这些行为良好的局部最优解，从而无需依赖专门的全局优化算法。

ABSTRACT

We provide novel theoretical results regarding local optima of regularized $M$-estimators, allowing for nonconvexity in both loss and penalty functions. Under restricted strong convexity on the loss and suitable regularity conditions on the penalty, we prove that \emph{any stationary point} of the composite objective function will lie within statistical precision of the underlying parameter vector. Our theory covers many nonconvex objective functions of interest, including the corrected Lasso for errors-in-variables linear models; regression for generalized linear models with nonconvex penalties such as SCAD, MCP, and capped-$\ell_1$; and high-dimensional graphical model estimation. We quantify statistical accuracy by providing bounds on the $\ell_1$-, $\ell_2$-, and prediction error between stationary points and the population-level optimum. We also propose a simple modification of composite gradient descent that may be used to obtain a near-global optimum within statistical precision $ε$ in $\log(1/ε)$ steps, which is the fastest possible rate of any first-order method. We provide simulation studies illustrating the sharpness of our theoretical results.

研究动机与目标

• 为高维非凸M-估计中的统计理论与实践之间的差距提供填补，其中全局最优解通常在计算上不可行。
• 在较弱正则性条件下，建立非凸正则化M-估计器的局部最优解在统计上与全局最优解相当的理论基础。
• 为标准一阶优化方法提供理论保证，使其可收敛至统计最优解，而无需依赖全局优化。
• 统一并扩展先前关于高维统计模型中SCAD、MCP和截断ℓ₁等非凸惩罚函数的研究成果。
• 证明即使目标函数非凸，复合目标函数的驻点与总体参数之间的误差也在统计误差范围内。

提出的方法

• 提出一个通用框架，用于分析具有非凸损失和惩罚函数的正则化M-估计器的局部最优解。
• 在损失函数上采用受限强凸性，并对惩罚函数施加正则性条件，以界定任意驻点与真实参数之间的距离。
• 利用非凸惩罚函数的凸上界，推导一阶最优性条件与误差界。
• 将该理论应用于具体模型，包括校正Lasso、带SCAD/MCP/截断ℓ₁惩罚的广义线性模型，以及高维图形模型。
• 提出一种改进的复合梯度下降算法，可在 O(log(1/ε_stat)) 步内收敛至与真实参数相差不超过 ε_stat 的解。
• 利用可分解性与次梯度不等式，界定驻点与真实参数向量之间ℓ₁、ℓ₂及预测误差的上界。

实验结果

研究问题

• RQ1 在何种条件下，所有非凸正则化M-估计器的局部最优解均位于真实参数的统计误差范围内？
• RQ2 即使目标函数非凸，标准一阶优化方法（如复合梯度下降）是否仍能收敛至统计上最优的解？
• RQ3 SCAD、MCP和截断ℓ₁等非凸惩罚函数如何影响驻点的统计误差与优化误差？
• RQ4 是否能够保证任意非凸M-估计器的驻点在统计意义上与全局最优解相当？
• RQ5 对一阶方法进行何种修改，可确保以最快可能速率收敛至统计精度范围内的解？

主要发现

• 在受限强凸性和正则性条件下，正则化M-估计器的任意驻点在ℓ₂、ℓ₁及预测误差上的界均与统计精度 ε_stat 成比例。
• 改进的复合梯度下降算法在 O(log(1/ε_stat)) 次迭代内收敛至与真实参数相差不超过 ε_stat 的解，实现了对一阶方法而言最快的收敛速率。
• 对于参数为 c 的截断ℓ₁惩罚，理论分析表明该正则化满足所需条件，其中 μ₂ = 1/c，从而确保了局部最优解的良好数值行为。
• 本研究结果涵盖了先前关于校正Lasso的工作，并可推广至带非凸惩罚的广义线性模型，表明局部最优解具有统计一致性。
• 分析证实，局部最优解不仅在计算上可访问，而且在统计上是最优的，从而弥合了高维统计中理论与实践之间的一个关键鸿沟。
• 本文确立了标准一阶方法可在不依赖专门算法以定位特定局部极小值的情况下，实现统计精度。