[论文解读] A generalization of regularized dual averaging and its dynamics

Shih-Kang Chao, Guang Cheng|arXiv (Cornell University)|Sep 22, 2019

Advanced Optimization Algorithms Research参考文献 89被引用 16

一句话总结

本文提出了一种具有常数步长的广义正则化对偶平均（gRDA）算法，用于在线学习，支持弱收敛分析和结构化参数的渐近分布理论。该文首次建立了在线 $\varepsilon_1$-惩罚问题的均值为零的渐近正态性，从而在稀疏在线回归和主成分分析（PCA）中实现有效的统计推断和支撑恢复，与批量Lasso的有偏极限分布形成对比。

ABSTRACT

Excessive computational cost for learning large data and streaming data can be alleviated by using stochastic algorithms, such as stochastic gradient descent and its variants. Recent advances improve stochastic algorithms on convergence speed, adaptivity and structural awareness. However, distributional aspects of these new algorithms are poorly understood, especially for structured parameters. To develop statistical inference in this case, we propose a class of generalized regularized dual averaging (gRDA) algorithms with constant step size, which improves RDA (Xiao, 2010; Flammarion and Bach, 2017). Weak convergence of gRDA trajectories are studied, and as a consequence, for the first time in the literature, the asymptotic distributions for online l1 penalized problems become available. These general results apply to both convex and non-convex differentiable loss functions, and in particular, recover the existing regret bound for convex losses (Nemirovski et al., 2009). As important applications, statistical inferential theory on online sparse linear regression and online sparse principal component analysis are developed, and are supported by extensive numerical analysis. Interestingly, when gRDA is properly tuned, support recovery and central limiting distribution (with mean zero) hold simultaneously in the online setting, which is in contrast with the biased central limiting distribution of batch Lasso (Knight and Fu, 2000). Technical devices, including weak convergence of stochastic mirror descent, are developed as by-products with independent interest. Preliminary empirical analysis of modern image data shows that learning very sparse deep neural networks by gRDA does not necessarily sacrifice testing accuracy.

研究动机与目标

• 为解决具有结构化参数惩罚的随机算法在在线和流式设置下缺乏统计推断工具的问题。
• 开发一种广义正则化对偶平均（gRDA）框架，支持在线 $\ell_1$-惩罚问题的弱收敛分析和渐近分布理论。
• 建立在线稀疏估计同时实现支撑恢复和渐近正态、均值为零的极限分布的条件——这与批量Lasso中的有偏推断形成对比。
• 扩展弱收敛等理论工具，如随机镜像下降的弱收敛性，以适用于更广泛的在线优化场景。
• 通过在线稀疏线性回归和稀疏PCA的大量数值分析，验证理论，包括置信区间覆盖概率和轨迹行为。

提出的方法

• 提出一种具有常数步长的广义RDA框架，引入时变惩罚项 $ c_0 n \gamma \mathcal{P}(\mathbf{w}) $ 和强凸正则化项 $ F(\mathbf{w}) $，推广了标准RDA和SGD。
• 利用随机微分方程（SDE）近似方法分析gRDA轨迹的弱收敛性，在损失函数和梯度噪声的温和条件下建立渐近正态性。
• 推导出估计量的渐近分布为均值为零的正态分布，其协方差矩阵依赖于期望梯度的Hessian矩阵和惩罚结构。
• 将该框架应用于在线稀疏线性回归和在线稀疏PCA，推导出参数估计的理论置信带（TACB）。
• 采用时间重标定技术分析算法的动力学行为，特别是靠近鞍点和驻点时的特性，以解释轨迹分叉和收敛模式。
• 通过1000次重复的模拟研究验证渐近理论，测量置信带的覆盖概率随步长 $ \gamma $ 的变化。

实验结果

研究问题

• RQ1 具有 $\ell_1$-惩罚的随机在线算法能否同时实现支撑恢复和渐近正态、均值为零的极限分布？
• RQ2 在在线设置下，gRDA轨迹的弱极限是什么？其如何依赖于步长和惩罚结构？
• RQ3 在线 $\ell_1$-惩罚估计量的渐近分布与批量Lasso有何不同，特别是在偏差方面？
• RQ4 Hessian类矩阵 $ -\nabla G(\mathbf{w}(t)) $ 在鞍点附近轨迹稳定性和方差中的作用是什么？
• RQ5 理论置信带（TACB）能否准确捕捉在线稀疏估计中的有限样本不确定性？覆盖概率是否随更小的步长而改善？

主要发现

• 对于在线 $\ell_1$-惩罚问题，gRDA估计量的渐近分布以零为中心，与批量Lasso的有偏极限分布形成鲜明对比，从而支持有效的统计推断。
• 理论渐近置信带（TACB）的平均覆盖概率随步长 $ \gamma $ 减小而提高，证实了所提推断框架的渐近有效性。
• 在适当调参下，gRDA在在线稀疏线性回归和稀疏PCA中可同时实现支撑恢复和渐近正态、均值为零的极限分布。
• 在线稀疏PCA的实证轨迹表现出分叉现象，并收敛至替代的驻点（如 $ \pm 10^{-1/2} $），这是由于鞍点附近方差较大所致，尤其当Hessian特征值为正时。
• 当Hessian类矩阵 $ -\nabla G(\mathbf{w}(t)) $ 具有正特征值时，SDE近似中置信带的宽度增加，仅在 $ t=5 $ 后特征值变为负时才实现稳定。
• 在图像数据上的初步实验表明，gRDA可在测试精度损失不大的前提下训练出极稀疏的深度神经网络，支持其实际应用价值。