[论文解读] About accelerated randomized methods

Alexander Gasnikov, Pavel Dvurechensky+1 more|arXiv (Cornell University)|Aug 10, 2015

Stochastic Gradient Optimization Techniques参考文献 23被引用 7

一句话总结

本文通过一种新颖的重启技术，从最优的 SIGMA 方法推导出非加速的随机坐标下降法与随机一阶方法，建立了一个统一的加速随机优化方法框架。此外，提出了一种基于耦合的新方法以加速坐标下降，实现了对偶解的恢复，推广至条件优化问题，并扩展了 Nesterov 的通用方法。

ABSTRACT

We show how one can obtain nonaccelerated randomized coordinate descent method (Yu. Nesterov, 2010) and nonaccelerated method of randomization of sum-type functional (Le Roux-Schmidt-Bach, 2012) from the optimal method for the stochastic optimization problem (SIGMA, Devolder-Glineur-Nesterov-Dvurechensky-Gasnikov, 2014). The main trick is a special restart technique. We considered this trick to be usefull in others contexts. We consider only strongly convex case. We show that accelerated variants of this methods seems to be nontrivial in this context. That is, it is hard (perhaps impossible) to obtain accelerated variants using the same trick. We also propose new approach for accelerated coordinate descent methods. This approach is based on the coupling technique (Allen-Zhu-Orrechia, 2015) and allows us: to generalize accelerated coordinate descent methods for conditional optimization problems, to obtain the dual solution due to the primal-dual nature, to extend Universal method (Yu. Nesterov, 2013) to accelerated coordinate descent methods etc.

研究动机与目标

• 将非加速随机方法（如坐标下降、求和型函数随机化）统一地从最优的 SIGMA 方法推导出来。
• 探究相同的重启技术是否能在强凸设置下产生加速变体。
• 提出一种基于耦合的新方法，以加速坐标下降方法并改善其结构特性。
• 通过原始-对偶耦合，将 Nesterov（2013）的通用方法扩展至加速坐标下降。
• 通过所提框架实现对偶解的计算，并处理条件优化问题。

提出的方法

• 使用一种专门设计的重启技术，从 SIGMA 方法推导出非加速随机坐标下降与求和型函数方法。
• 应用 Allen-Zhu 与 Orrechia（2015）提出的耦合技术，构建加速坐标下降算法。
• 引入一种原始-对偶框架，自然地同时生成对偶解与原始迭代。
• 通过将约束嵌入耦合机制中，将该方法推广至条件优化问题。
• 通过将自适应步长策略适配至坐标更新，将 Nesterov 的通用方法扩展至坐标下降。
• 以强凸设置为基础，进行理论分析与收敛性保证。

实验结果

研究问题

• RQ1 能否将用于非加速方法的相同重启技术扩展至强凸情形，以生成加速变体？
• RQ2 是否可以设计一种加速坐标下降方法，使其同时提供对偶解，并在条件约束下保持收敛性？
• RQ3 如何将通用方法适配至坐标下降设置，同时保持其自适应与通用特性？
• RQ4 耦合技术在实现加速与对偶解恢复方面起到了何种作用？
• RQ5 所提出的框架是否能够将现有随机方法统一于单一理论基础之下？

主要发现

• 重启技术成功地从 SIGMA 方法推导出非加速随机方法，建立了关键算法之间的统一联系。
• 通过相同重启机制获得这些方法的加速变体显得非平凡，表明该方法在加速方面存在固有局限性。
• 所提出的基于耦合的方法通过其原始-对偶结构实现了对偶解的计算，这是标准随机方法中不自然具备的特性。
• 该框架可推广至条件优化问题，使得在加速坐标下降范式下实现约束优化成为可能。
• 成功地将通用方法扩展至坐标下降，保持了其自适应步长行为与通用收敛特性。
• 理论分析证实了在强凸设置下，收敛速率与已知加速方法的界一致。