[论文解读] I-LAMM for Sparse Learning: Simultaneous Control of Algorithmic Complexity and Statistical Error

Jianqing Fan, Han Liu+2 more|arXiv (Cornell University)|Jul 3, 2015

Sparse and Compressive Sensing Techniques参考文献 30被引用 8

一句话总结

该论文提出 I-LAMM，一种两阶段迭代算法，可同时控制高维稀疏学习中的算法复杂度与统计误差。通过以递减的精度容差求解一系列凸规划问题，I-LAMM 在第一阶段实现次线性迭代复杂度，在第二阶段实现线性收敛，从而在弱假设下获得具有最优统计性能的估计量，包括比先前方法要求更低的最小信号强度条件。

ABSTRACT

We propose a computational framework named iterative local adaptive majorize-minimization (I-LAMM) to simultaneously control algorithmic complexity and statistical error when fitting high dimensional models. I-LAMM is a two-stage algorithmic implementation of the local linear approximation to a family of folded concave penalized quasi-likelihood. The first stage solves a convex program with a crude precision tolerance to obtain a coarse initial estimator, which is further refined in the second stage by iteratively solving a sequence of convex programs with smaller precision tolerances. Theoretically, we establish a phase transition: the first stage has a sublinear iteration complexity, while the second stage achieves an improved linear rate of convergence. Though this framework is completely algorithmic, it provides solutions with optimal statistical performances and controlled algorithmic complexity for a large family of nonconvex optimization problems. The iteration effects on statistical errors are clearly demonstrated via a contraction property. Our theory relies on a localized version of the sparse/restricted eigenvalue condition, which allows us to analyze a large family of loss and penalty functions and provide optimality guarantees under very weak assumptions (For example, I-LAMM requires much weaker minimal signal strength than other procedures). Thorough numerical results are provided to support the obtained theory.

研究动机与目标

• 弥合非凸稀疏学习中理论保证与实际计算之间的差距。
• 开发一种在保持可控计算复杂度的同时实现最优统计性能的算法。
• 为算法精确计算出的估计量提供理论保证，而无需对未知参数施加约束。
• 建立收敛行为的相变：第一阶段为次线性复杂度，第二阶段为线性收敛。

提出的方法

• I-LAMM 是一种基于局部自适应大化-最小化技术的两阶段算法框架。
• 第一阶段通过粗精度容差求解一个凸规划问题，以获得粗略的初始估计量。
• 第二阶段通过逐步收紧精度容差，迭代求解一系列凸规划问题，以逐步优化估计量。
• 惩罚权重基于前一迭代点的折叠凹损失函数的导数，自适应地进行更新。
• 该方法采用局部稀疏特征值条件来分析收敛性与统计性质。
• 通过收缩性质建立收敛性，确保每次迭代中误差均减少。

实验结果

研究问题

• RQ1 是否存在一种计算高效的算法，可在高维非凸稀疏学习中实现最优统计性能？
• RQ2 该算法是否在确保收敛至统计最优解的同时，保持可控的迭代复杂度？
• RQ3 与现有方法相比，该算法的性能对最小信号强度的依赖程度如何？
• RQ4 是否可为算法实际计算出的估计量而非理想化的全局最优解建立理论保证？
• RQ5 初始阶段与优化阶段之间收敛行为的相变特征是什么？

主要发现

• I-LAMM 在第一阶段实现次线性迭代复杂度，在第二阶段实现线性收敛，展现出算法效率的相变特征。
• 该方法在最小信号强度要求方面实现最优统计性能，且要求弱于现有方法。
• 为算法实际计算出的估计量建立了理论保证，而非仅针对假设的全局最优解。
• 与先前方法需施加 ℓ1-球约束不同，该算法无需依赖未知真实参数的任何约束。
• 收缩性质确保统计误差在每次迭代中减少，误差有界于 Cλ²s（C 为某常数）。
• 最终估计量满足 ∥β(ℓ,k) − β∗∥₂ ≤ C′λ√s，证实了在弱假设下的最优收敛速率。