[论文解读] Linear convergence of SDCA in statistical estimation

Chao Qu, Huan Xu|arXiv (Cornell University)|Jan 26, 2017

Sparse and Compressive Sensing Techniques参考文献 44被引用 5

一句话总结

该论文在受限强凸性（RSC）条件下，建立了随机对偶坐标上升（SDCA）在非强凸统计估计问题上的线性收敛性。提出了一种广义的无对偶SDCA算法，可处理一般正则化，包括非光滑的$β$-范数，并证明了Lasso、组Lasso、带$Ø_1$正则化的逻辑回归以及SCAD正则化的线性回归的线性收敛性。

ABSTRACT

In this paper, we consider stochastic dual coordinate (SDCA) {\em without} strongly convex assumption or convex assumption. We show that SDCA converges linearly under mild conditions termed restricted strong convexity. This covers a wide array of popular statistical models including Lasso, group Lasso, and logistic regression with $\ell_1$ regularization, corrected Lasso and linear regression with SCAD regularizer. This significantly improves previous convergence results on SDCA for problems that are not strongly convex. As a by product, we derive a dual free form of SDCA that can handle general regularization term, which is of interest by itself.

研究动机与目标

• 解决SDCA在非强凸统计模型（如Lasso和带$Ø_1$正则化的逻辑回归）中缺乏线性收敛保证的问题。
• 将SDCA扩展至处理非凸M-估计器和非光滑正则化项（如$Ø_1$和$Ø_{1,2}$范数）。
• 提出一种无对偶SDCA框架，避免显式对偶形式，从而支持对非光滑和非凸目标函数的分析。
• 在受限强凸性（RSC）条件下建立线性收敛性，该条件适用于高维模型的广泛类别。
• 通过在最小假设下推导收敛速率，为SDCA在稀疏估计问题中的实际成功提供理论依据。

提出的方法

• 提出一种广义的无对偶SDCA算法（算法1），通过维护对偶变量$a_i^t$和一个对偶变量$v^t$，避免显式对偶形式。
• 采用非均匀采样策略，采样概率为$q_i = \frac{L_i + \bar{L}}{2n\bar{L}}$，其中$L_i$是$f_i$的光滑性参数。
• 通过$ a_i^t = a_i^{t-1} - \eta_i \lambda n (\nabla f_i(w^{t-1}) + a_i^{t-1}) $和$ v^t = v^{t-1} - \eta_i (\nabla f_i(w^{t-1}) + a_i^{t-1}) $更新对偶变量。
• 执行近端步骤$ w^t = \arg\max_{w \in \Omega} \langle w, v^t \rangle - g(w) $，以处理一般正则化$g(w)$，包括非光滑范数。
• 利用RSC条件分析收敛性，该条件确保在真实模型支持所定义的可行子空间中具有足够的曲率。
• 通过证明在RSC条件下对偶间隙几何衰减，建立线性收敛性，即使整体目标函数并非强凸。

实验结果

研究问题

• RQ1 SDCA能否在非强凸统计模型（如Lasso和组Lasso）中实现线性收敛？
• RQ2 是否存在一种无对偶SDCA形式，可处理非光滑正则化项（如$\ell_1$和$\ell_{1,2}$范数）？
• RQ3 当目标函数非强凸时，SDCA在何种条件下可实现线性收敛？
• RQ4 受限强凸性（RSC）条件如何在高维稀疏估计中实现线性收敛？
• RQ5 能否将SDCA在非凸M-估计器上的理论收敛速率提升至超越次线性速率？

主要发现

• 在受限强凸性（RSC）条件下，SDCA实现线性收敛，该条件在Lasso、组Lasso、带$\ell_1$正则化的逻辑回归以及SCAD正则化的线性回归中均成立。
• 所提出的无对偶SDCA算法可实现非光滑正则化（如$\ell_1$和$\ell_{1,2}$范数）问题的线性收敛，而传统基于对偶的SDCA在这些情况下会失效。
• 对于Lasso，所需正则化参数$\lambda$满足$\lambda \geq 6\sigma\sqrt{\frac{\log p}{n}}$，以高概率确保RSC条件成立。
• 对于组Lasso，条件$\lambda \geq 4\sigma\left(\sqrt{\frac{m}{n}} + \sqrt{\frac{\log N_{\mathcal{G}}}{n}}\right)$以高概率确保RSC条件成立。
• RSC条件中的容差$\delta$的量级为$c_2 \nu(\Sigma) \frac{s \log p}{n} \|\hat{w} - w^*\|_2^2$，显示出对模型复杂度和样本量的依赖性。
• 分析结果表明，只要在活跃子空间上满足RSC条件，即使整体目标函数非强凸，SDCA仍可实现线性收敛。