[论文解读] Accelerated Alternating Minimization, Accelerated Sinkhorn's Algorithm and Accelerated Iterative Bregman Projections

Sergey Guminov, Pavel Dvurechensky+2 more|arXiv (Cornell University)|Jun 9, 2019

Sparse and Compressive Sensing Techniques参考文献 63被引用 28

一句话总结

该论文提出了一种加速交替最小化算法，结合了交替最小化在实际中的高效性与Nesterov加速的优点，实现了凸问题的$1/k^2$收敛速率和非凸问题的$1/k$收敛速率，且无需预先知晓凸性或梯度Lipschitz常数。该方法具有自适应性，并在光滑凸与非凸设置下均达到统一最优。其原始-对偶变体在具有线性约束的强凸问题中，同时实现了目标残差和约束可行性$1/k^2$的收敛速率。

ABSTRACT

Alternating minimization (AM) procedures are practically efficient in many applications for solving convex and non-convex optimization problems. On the other hand, Nesterov's accelerated gradient is theoretically optimal first-order method for convex optimization. In this paper we combine AM and Nesterov's acceleration to propose an accelerated alternating minimization algorithm. We prove $1/k^2$ convergence rate in terms of the objective for convex problems and $1/k$ in terms of the squared gradient norm for non-convex problems, where $k$ is the iteration counter. Our method does not require any knowledge of neither convexity of the problem nor function parameters such as Lipschitz constant of the gradient, i.e. it is adaptive to convexity and smoothness and is uniformly optimal for smooth convex and non-convex problems. Further, we develop its primal-dual modification for strongly convex problems with linear constraints and prove the same $1/k^2$ for the primal objective residual and constraints feasibility.

研究动机与目标

• 弥合交替最小化在实际中的高效性与Nesterov加速梯度在凸优化中的理论最优性之间的差距。
• 开发一种算法，实现最优收敛速率，且无需预先知晓如Lipschitz常数或凸性等问题参数。
• 通过原始-对偶改进，将加速框架扩展至具有线性约束的强凸问题。
• 在光滑凸与非凸问题中建立统一的收敛性保证。

提出的方法

• 将Nesterov的动量技术融入交替最小化框架，以加速收敛。
• 采用自适应步长策略，无需依赖梯度的Lipschitz常数或问题的凸性。
• 通过李雅普诺夫函数分析目标函数下降与梯度范数衰减，推导收敛速率。
• 提出一种原始-对偶变体，同时最小化原始目标函数并强制满足线性约束的可行性。
• 以迭代Bregman投影为基础，通过引入加速机制提升收敛速度。
• 通过动量自适应实现隐式重启机制，以维持最优收敛速率。

实验结果

研究问题

• RQ1 能否在不预先知晓问题参数的情况下，使交替最小化实现光滑凸问题的最优$1/k^2$收敛速率？
• RQ2 所提出的加速框架是否在非凸设置下仍能保持对平方梯度范数的$1/k$收敛速率？
• RQ3 该算法能否被调整以处理具有线性约束的强凸问题，同时保持最优收敛性？
• RQ4 该方法是否在光滑凸与非凸问题中均具有统一最优性，且无需针对问题进行特定调参？
• RQ5 原始-对偶形式是否能同时实现目标残差与约束违反度的$1/k^2$收敛速率？

主要发现

• 所提出的加速交替最小化在光滑凸问题中实现了目标函数的$1/k^2$收敛速率。
• 对于非凸问题，该算法确保了平方梯度范数的$1/k$收敛速率。
• 该方法具有自适应性——无需了解凸性或梯度Lipschitz常数。
• 原始-对偶变体在具有线性约束的强凸问题中，实现了原始目标函数残差与约束可行性的$1/k^2$收敛速率。
• 由于其自适应特性，该算法在光滑凸与非凸问题中均表现出统一最优性。
• 理论保证通过李雅普诺夫分析建立，该分析同时追踪了目标函数的下降与梯度的衰减。