[论文解读] A Conditional Gradient-Based Augmented Lagrangian Framework

Alp Yurtsever, Olivier Fercoq+1 more|arXiv (Cornell University)|Jan 13, 2019

Sparse and Compressive Sensing Techniques参考文献 24被引用 10

一句话总结

本文提出了一种基于条件梯度的增广拉格朗日框架（CGAL），用于在紧致域上处理仿射约束的凸优化问题，结合平滑化与增广拉格朗日技术，实现高效、稀疏且可扩展的解决方案。CGAL 在目标函数残差与可行性间隙上均达到 $Ó(1/\sqrt{k})$ 的收敛速率，且在实际应用中性能显著优于现有方法，特别是在半定规划（SDP）应用中，实际收敛速率可达 $Ó(1/k)$。

ABSTRACT

This paper considers a generic convex minimization template with affine constraints over a compact domain, which covers key semidefinite programming applications. The existing conditional gradient methods either do not apply to our template or are too slow in practice. To this end, we propose a new conditional gradient method, based on a unified treatment of smoothing and augmented Lagrangian frameworks. The proposed method maintains favorable properties of the classical conditional gradient method, such as cheap linear minimization oracle calls and sparse representation of the decision variable. We prove $\mathcal{O}(1/\sqrt{k})$ convergence rate of our method in the objective residual and the feasibility gap. This rate is essentially the same as the state of the art CG-type methods for our problem template, but the proposed method is significantly superior to existing methods in various semidefinite programming applications.

研究动机与目标

• 解决现有条件梯度方法在求解具有仿射约束和非光滑项的凸最小化问题时的局限性。
• 开发一种可扩展的一阶方法，保持线性最小化预言机（lmo）的计算优势，同时确保强收敛保证。
• 将平滑化与增广拉格朗日框架统一为单一高效算法，适用于结构化凸问题，特别是半定规划（SDP）。
• 推导自适应对偶步长规则，以提升实际性能，同时不牺牲理论收敛速率。
• 通过实证结果证明，所提方法在关键半定规划应用中优于最先进的方法（如 HCGM 和 UPD）。

提出的方法

• 该方法结合内斯特罗夫平滑化与增广拉格朗日公式，以处理优化模板中非光滑项与仿射约束项。
• 利用线性最小化预言机（lmo）保持迭代解的稀疏性，避免昂贵的近端预言机，从而实现对大规模问题（如 SDP）的可扩展性。
• 通过以当前迭代点为中心的二次惩罚项更新对偶变量，利用动态对偶步长规则适应问题几何结构。
• 构建统一的分析框架，推导收敛速率，并可解释性地界定次优性与不可行性间隙。
• 设计可实现的显式自适应对偶步长规则，提升实际性能，同时保持理论收敛性。
• 通过统一的问题模板，将该框架应用于广泛问题类别，包括 SDP、广义特征向量问题与矩阵恢复任务。

实验结果

研究问题

• RQ1 能否将条件梯度方法扩展以处理仿射约束与非光滑项，同时保持线性最小化预言机的效率？
• RQ2 结合平滑化与增广拉格朗日框架是否能带来比现有 CG 类方法更快的收敛速度与更好的实验性能？
• RQ3 能否推导出自适应对偶步长规则，在保持理论收敛速率的同时提升半定规划中的实际性能？
• RQ4 在大规模 SDP 问题上，该方法与最先进的方法（如 HCGM 和 UPD）相比表现如何？
• RQ5 在结构化问题（如 SDP）中，lmo 在推动收敛至低秩或极值点解方面起什么作用？

主要发现

• 所提出的 CGAL 方法在目标函数残差与可行性间隙上均达到 $Ó(1/\sqrt{k})$ 的收敛速率，与 CG 类方法的理论最优水平一致。
• 实验上，CGAL 在关键 SDP 问题上表现出 $Ó(1/k)$ 的收敛速率，目标函数残差与可行性间隙均显著优于 HCGM 与 UPD。
• 在广义特征向量问题中，CGAL 的 lmo 输出线性收敛至极值点，表明其能有效适应问题几何结构。
• 该方法在多个 SDP 实例中均优于 HCGM 与 UPD，包括具有高斯、多项式衰减与指数衰减矩阵结构的问题。
• 在条件良好的 SDP 问题中，CGAL 的 lmo 输出快速收敛至秩-1 解，与极值点收敛的理论预期一致。
• 基于分析推导出的自适应对偶步长规则提升了实际性能，同时未损害理论收敛保证。