[论文解读] Accelerated Stochastic Mirror Descent Algorithms For Composite Non-strongly Convex Optimization
本文提出了一种用于复合非强凸优化的加速随机镜像梯度下降算法，避免了二次正则化的需要。通过将Tseng的确定性加速近端梯度方法扩展到随机设置，所提出的算法实现了$O(1/k^2)$的最优收敛速率，并通过参数调优进一步提升了复杂度。
We consider the problem of minimizing the sum of the average function consisting of a large number of smooth convex component functions and a general convex function that can be non-differentiable. Although many methods have been proposed to solve the problem with the assumption that the sum is strongly convex, few methods support the non-strongly convex cases. Adding a small quadratic regularization is the common trick used to tackle non-strongly convex problems; however, it may worsen certain qualities of solutions or weaken the performance of the algorithms. Avoiding this trick, we extend the deterministic accelerated proximal gradient methods of Paul Tseng to randomized versions for solving the problem without the strongly convex assumption. Our algorithms achieve the optimal convergence rate $O( icefrac{1}{k^2})$. Tuning involved parameters helps our algorithms get better complexity compared with the deterministic accelerated proximal gradient methods. We also propose a scheme for non-smooth problem.
研究动机与目标
- 解决光滑分量为非强凸的复合优化问题，且正则项为一般形式，可能不可微。
- 消除对二次正则化的依赖，以避免降低解的质量或算法性能。
- 在非强凸假设下，将确定性加速近端梯度方法扩展到随机、随机化设置。
- 在不依赖强凸性的情况下实现最优收敛速率。
- 开发一种适用于所提框架内非光滑问题的方案。
提出的方法
- 将Paul Tseng的确定性加速近端梯度方法适配到大规模复合优化的随机化、随机设置中。
- 提出一种随机镜像梯度下降框架，可在不依赖强凸性的情况下保持加速特性。
- 在每次迭代中使用部分分量对光滑分量函数的梯度进行随机近似。
- 使用近端算子处理优化子问题中的非光滑、一般凸正则项。
- 通过调优算法参数，相较于确定性对应方法，提升了迭代复杂度。
- 提出一种专门用于处理目标函数中非光滑分量的方案。
实验结果
研究问题
- RQ1加速随机镜像梯度下降能否在无需二次正则化的情况下，实现非强凸复合问题的最优收敛？
- RQ2参数调优如何影响所提随机加速算法的迭代复杂度？
- RQ3在非强凸假设下，所提随机化算法的收敛速率是多少？
- RQ4该框架能否有效扩展以处理非光滑正则项？
- RQ5在收敛速度和复杂度方面，随机化方法相较于确定性加速方法的性能如何？
主要发现
- 所提算法在复合非强凸问题上实现了$O(1/k^2)$的最优收敛速率。
- 该方法避免了二次正则化，从而保持了解的质量并避免了性能下降。
- 参数调优使得迭代复杂度优于确定性加速近端梯度方法。
- 通过所提方案，该算法可适用于非光滑问题。
- 随机化变体在不依赖强凸性的情况下，仍保持了加速性和收敛性保证。
- 理论收敛速率与确定性加速方法的最佳已知速率一致，但适用于随机设置。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。