[论文解读] Improved Sample Complexity for Stochastic Compositional Variance Reduced Gradient

Tianyi Lin, Chenyou Fan+2 more|arXiv (Cornell University)|Jun 1, 2018

Stochastic Gradient Optimization Techniques参考文献 29被引用 11

一句话总结

本文提出了一种新颖的随机组合方差缩减梯度算法，实现了凸组合优化的改进样本复杂度 $O((m+n)\tan(1/\epsilon) + 1/\epsilon^3)$，其中 $m+n$ 为样本总数。该方法利用方差缩减与自适应步长，以利用凸结构，实现了在 $m+n$ 上近乎最优的依赖关系（仅含对数因子差异），并在真实世界数据集上进行了实证验证，显示出更高的效率。

ABSTRACT

Convex composition optimization is an emerging topic that covers a wide range of applications arising from stochastic optimal control, reinforcement learning and multi-stage stochastic programming. Existing algorithms suffer from unsatisfactory sample complexity and practical issues since they ignore the convexity structure in the algorithmic design. In this paper, we develop a new stochastic compositional variance-reduced gradient algorithm with the sample complexity of $O((m+n)\log(1/ε)+1/ε^3)$ where $m+n$ is the total number of samples. Our algorithm is near-optimal as the dependence on $m+n$ is optimal up to a logarithmic factor. Experimental results on real-world datasets demonstrate the effectiveness and efficiency of the new algorithm.

研究动机与目标

• 为解决现有凸组合优化算法在样本复杂度较高且实际效率较低的问题，这些算法通常忽略底层的凸结构。
• 通过在凸（但非强凸）组合问题中实现样本复杂度对 $m+n$ 的最优依赖，弥合理论理解的差距。
• 开发一种实用且高效的算法，在保持低计算开销的同时，确保以高概率收敛至最优解。
• 在真实世界数据集上展示所提方法的有效性，表明其相比先前方法具有更快的收敛速度和更强的鲁棒性。

提出的方法

• 该算法采用专为组合目标设计的方差缩减随机梯度框架，使用递归梯度估计器以减少更新方向中的噪声。
• 它引入了一种自适应步长规则 $\eta_t^{s+1}$，根据迭代过程的进展动态调整，以确保稳定性和收敛性。
• 该方法采用双层循环结构：内层循环执行多次带方差缩减的随机更新，而外层循环在参考点重新计算完整梯度估计，以保持准确性。
• 一个关键创新是使用李雅普诺夫函数分析，同时追踪最优性差距与到最优解的距离，从而实现紧密的收敛界。
• 该算法结合了一种递减步长策略，确保在无需了解问题强凸性参数的情况下实现收敛。
• 理论分析依赖于一种新颖的递推不等式，其在各周期间可展开，证明每轮周期内误差至少减少一半。

实验结果

研究问题

• RQ1 能否设计一种随机组合算法，使其在凸组合问题中对 $m+n$ 实现最优样本复杂度依赖？
• RQ2 利用外函数 $F$ 的凸结构以及 $r$ 的凸性，是否能实现比现有方法更优的收敛速率？
• RQ3 在不依赖强凸性的情况下，能否有效应用方差缩减于组合设置中，同时保持低样本复杂度？
• RQ4 能否设计一种实用算法，实现凸组合问题的近似最优 $O((m+n)\log(1/\epsilon) + 1/\epsilon^3)$ 样本复杂度？

主要发现

• 所提算法实现了 $O((m+n)\log(1/\epsilon) + 1/\epsilon^3)$ 的样本复杂度，其在 $m+n$ 上的依赖关系近乎最优（仅含对数因子差异）。
• 该算法在高维和大规模场景下显著优于当前最先进方法 VRSC-PG（其样本复杂度为 $O((m+n)^{2/3}/\epsilon^2)$）。
• 理论分析证明，每轮周期内误差至少减少一半，从而在周期数上实现几何收敛速率。
• 在真实世界数据集上的实证验证表明，该算法相比 SCGD、ASC-PG 和 VRSC-PG 具有更快的收敛速度和更低的最优性差距。
• 该方法在 $\mathbb{E}[\Phi(\tilde{\mathbf{x}}^S) - \Phi(\mathbf{x}^*)] \leq \epsilon$ 条件下，仅使用 $O((m+n)\log(1/\epsilon) + 1/\epsilon^3)$ 次总样本即可实现收敛，验证了理论边界的正确性。
• 证明技术引入了一种新型李雅普诺夫函数，联合追踪最优性差距与到最优解的距离，从而实现更紧致的收敛性分析。