[论文解读] A Richer Theory of Convex Constrained Optimization with Reduced Projections and Improved Rates

Tianbao Yang, Qihang Lin+1 more|arXiv (Cornell University)|Aug 11, 2016

Sparse and Compressive Sensing Techniques参考文献 27被引用 3

一句话总结

该论文提出了一种新型凸约束优化框架，显著减少了投影次数——在光滑问题中仅需一次投影即可实现最优收敛，而非光滑情况下在局部误差界条件下实现对数数量级的投影。该框架引入了加速算法，改进了迭代复杂度：光滑问题为$O(1/\epsilon)$，非光滑问题为$\widetilde{O}(1/\epsilon^{2(1-\theta)})$，其中$\theta \in (0,1]$量化了局部增长速率，在压缩感知和距离度量学习任务中显著优于现有方法。

ABSTRACT

This paper focuses on convex constrained optimization problems, where the solution is subject to a convex inequality constraint. In particular, we aim at challenging problems for which both projection into the constrained domain and a linear optimization under the inequality constraint are time-consuming, which render both projected gradient methods and conditional gradient methods (a.k.a. the Frank-Wolfe algorithm) expensive. In this paper, we develop projection reduced optimization algorithms for both smooth and non-smooth optimization with improved convergence rates under a certain regularity condition of the constraint function. We first present a general theory of optimization with only one projection. Its application to smooth optimization with only one projection yields $O(1/ε)$ iteration complexity, which improves over the $O(1/ε^2)$ iteration complexity established before for non-smooth optimization and can be further reduced under strong convexity. Then we introduce a local error bound condition and develop faster algorithms for non-strongly convex optimization at the price of a logarithmic number of projections. In particular, we achieve an iteration complexity of $\widetilde O(1/ε^{2(1-θ)})$ for non-smooth optimization and $\widetilde O(1/ε^{1-θ})$ for smooth optimization, where $θ\in(0,1]$ appearing the local error bound condition characterizes the functional local growth rate around the optimal solutions. Novel applications in solving the constrained $\ell_1$ minimization problem and a positive semi-definite constrained distance metric learning problem demonstrate that the proposed algorithms achieve significant speed-up compared with previous algorithms.

研究动机与目标

• 为解决约束凸优化中投影和线性优化的高计算成本问题，特别是针对PSD或二次约束等复杂约束。
• 建立通用理论，实现仅通过一次投影的优化，减少对昂贵投影步骤的依赖。
• 通过引入局部误差界条件，实现对非强凸问题的投影次数为对数级，从而改进收敛速率。
• 在$l_1$最小化和正定距离度量学习等实际问题上，验证所提算法的有效性。
• 在温和正则性假设下，为光滑与非光滑优化建立更紧的迭代复杂度界。

提出的方法

• 提出一种通用框架，通过类似障碍函数的方法将约束函数嵌入目标函数，仅在最后一步进行一次投影。
• 对增广无约束问题应用Nesterov的加速梯度法，实现光滑凸优化的$O(1/\epsilon)$迭代复杂度。
• 利用参数$\theta \in (0,1]$的局部误差界条件，刻画最优解附近目标函数值的局部增长速率。
• 设计多阶段算法，采用对数数量级的投影，每阶段通过逐步收紧的误差界对解进行精炼。
• 采用线搜索或自适应调节惩罚参数$\lambda$，以控制约束违反程度并加速收敛。
• 将该框架应用于具体问题，如$l_1$最小化和PSD约束的距离度量学习，通过利用问题结构对方法进行适配。

实验结果

研究问题

• RQ1 能否仅通过一次投影实现光滑凸优化的最优收敛速率，避免重复执行昂贵的投影操作？
• RQ2 当投影代价高昂时，如何改进非光滑与非强凸问题的收敛速率？
• RQ3 参数$\theta$的局部误差界条件在实现对数数量级投影下加速收敛过程中起到何种作用？
• RQ4 所提出的框架能否有效应用于压缩感知和距离度量学习等实际问题，尤其在具有复杂约束条件下？
• RQ5 与现有投影梯度法和Frank-Wolfe方法相比，该方法在迭代复杂度和运行时间方面具有怎样的理论与实证优势？

主要发现

• 所提方法在仅一次投影下实现光滑凸优化的$O(1/\epsilon)$迭代复杂度，优于以往非光滑方法的$O(1/\epsilon^2)$复杂度。
• 对于非光滑优化，在参数$\theta \in (0,1]$的局部误差界条件下，方法实现$\widetilde{O}(1/\epsilon^{2(1-\theta)})$的迭代复杂度，快于标准收敛速率。
• 在相同条件下，光滑优化下方法实现$\widetilde{O}(1/\epsilon^{1-\theta})$的迭代复杂度，表明对非强凸问题具有改进的收敛性能。
• 在压缩感知任务中，LoPNAG的收敛速度显著快于NESTA，即使仅使用一次投影，也能实现更低的恢复误差和目标值。
• 在高维距离度量学习中，LoPGD在8000次迭代内显著优于PGD和OPGD，尽管存在非光滑的PSD约束，仍实现大幅加速收敛。
• 该方法在$l_1$最小化和距离度量学习中均展现出显著的实证加速效果，验证了其相对于现有高投影依赖算法的实用性优势。