[论文解读] A Conditional Gradient Framework for Composite Convex Minimization with Applications to Semidefinite Programming

Alp Yurtsever, Olivier Fercoq+2 more|arXiv (Cornell University)|Apr 23, 2018

Sparse and Compressive Sensing Techniques参考文献 37被引用 11

一句话总结

本文提出了一种新颖的复合凸最小化条件梯度框架，该框架在Frank-Wolfe框架下结合了平滑化与同伦技术，即使在非精确线性最小化预言机的情况下，仍能实现最优的 $Ó(1/\sqrt{k})$ 收敛速率。该方法独特地处理了如指示函数等非光滑项，从而能够高效求解半定规划问题及具有线性包含约束的问题。

ABSTRACT

We propose a conditional gradient framework for a composite convex minimization template with broad applications. Our approach combines smoothing and homotopy techniques under the CGM framework, and provably achieves the optimal $\mathcal{O}(1/\sqrt{k})$ convergence rate. We demonstrate that the same rate holds if the linear subproblems are solved approximately with additive or multiplicative error. In contrast with the relevant work, we are able to characterize the convergence when the non-smooth term is an indicator function. Specific applications of our framework include the non-smooth minimization, semidefinite programming, and minimization with linear inclusion constraints over a compact domain. Numerical evidence demonstrates the benefits of our framework.

研究动机与目标

• 开发一种无投影的优化框架，用于复合凸最小化，同时保持计算效率并能处理非光滑项。
• 在具有加法或乘法误差的非精确预言机下，实现最优的 $Ó(1/\sqrt{k})$ 收敛速率。
• 将条件梯度方法的适用范围扩展至包含指示函数和线性包含约束的问题。
• 提供一个统一的框架，在保持线性最小化预言机简单性的同时，为非光滑和结构化问题提供收敛性保证。
• 通过在鲁棒主成分分析和矩阵补全任务中的数值实验，展示该框架的实际优势。

提出的方法

• 该框架整合了平滑化技术以近似非光滑函数，并应用同伦延续法逐步优化解路径。
• 采用带有平滑对偶公式的条件梯度方法，其中线性子问题通过线性最小化预言机（lmo）求解。
• 算法通过步长 $\eta_k = 2/(k+1)$ 维护一列迭代点 $x_k$，搜索方向 $s_k$ 由平滑部分梯度的 lmo 得到。
• 通过类似邻近的平滑技术处理非光滑项 $g(Ax)$，避免显式计算邻近映射。
• 允许线性子问题的近似解，且在加法和乘法误差界下仍具有收敛性保证。
• 该框架被应用于特定问题类别，如半定规划、非光滑最小化，以及在紧致域上的仿射约束问题。

实验结果

研究问题

• RQ1 条件梯度方法能否在包含非光滑项（包括指示函数）的复合凸问题中实现最优的 $Ó(1/\sqrt{k})$ 收敛速率？
• RQ2 当线性子问题以加法或乘法误差近似求解时，该框架是否仍能保持收敛性？
• RQ3 该方法能否在不依赖邻近预言机的情况下，高效求解半定规划和具有线性包含约束的问题？
• RQ4 在实际机器学习应用中，该框架的性能与现有无投影方法相比如何？
• RQ5 在真实问题（如鲁棒主成分分析和矩阵补全）中，该方法在目标残差和可行性间隙方面的经验行为如何？

主要发现

• 所提出的框架即使在非光滑项为指示函数时，也能在目标残差和可行性间隙上实现最优的 $Ó(1/\sqrt{k})$ 收敛速率。
• 在具有加法或乘法误差的非精确线性最小化预言机下，收敛性仍能保持，确保了实际应用中的鲁棒性。
• 在鲁棒主成分分析实验中，该框架相比标准最小二乘公式实现了更高的 PSNR（提升5 dB）和更高的 SSIM（提升0.27）。
• 在矩阵补全任务中，该方法在约1000次迭代时达到0.0914的误分类率，相比先前工作提升了5.8%。
• 在多个测试案例中，该方法在目标残差和可行性间隙上均表现出经验上的 $Ó(1/\sqrt{k})$ 收敛速率。
• 该框架通过避免昂贵的邻近映射计算，实现了对半定规划和仿射约束问题的高效求解。