[论文解读] Generalized conditional gradient: analysis of convergence and applications

Alain Rakotomamonjy, Rémi Flamary+1 more|arXiv (Cornell University)|Oct 22, 2015

Sparse and Compressive Sensing Techniques参考文献 14被引用 9

一句话总结

本文提出了一种广义的条件梯度方法（CGS），通过在保持非光滑项结构的同时对光滑分量进行部分线性化，改进了复合凸优化问题的收敛性和最优性认证。该方法在光滑条件下证明了线性收敛性，并提供了更紧致的最优性证书，在弹性网逻辑回归等稀疏学习任务中优于标准条件梯度法和投影梯度法。

ABSTRACT

The objectives of this technical report is to provide additional results on the generalized conditional gradient methods introduced by Bredies et al. [BLM05]. Indeed , when the objective function is smooth, we provide a novel certificate of optimality and we show that the algorithm has a linear convergence rate. Applications of this algorithm are also discussed.

研究动机与目标

• 改进具有结构化约束的复合凸优化问题中的收敛性和最优性认证。
• 开发一种方法，通过光滑分量的部分线性化，提供优于标准条件梯度法中完全线性化的近似效果。
• 在目标函数光滑的条件下，提供理论保证，包括线性收敛速率和一种新型最优性证书。
• 在稀疏学习问题（如弹性网正则化和最优传输）中展示该算法的高效性。
• 与最先进的方法（如SPG、PQN和标准Frank-Wolfe）进行实验比较，表明其性能具有竞争力或更优。

提出的方法

• 该算法采用分步策略：在每次迭代中，求解一个部分线性化的子问题，即在紧集P上最小化⟨∇f(xᵏ), x⟩ + g(x)。
• 将搜索方向步骤重新表述为最小化⟨∇f(xᵏ), s − xᵏ⟩ + g(s) − g(xᵏ)，从而明确子问题与原问题之间最优性的关联。
• 通过精确线搜索或Armijo规则计算步长αᵏ，确保目标函数的充分下降。
• 该方法为梯度相关型，满足收敛至驻点的条件，并在f和g的温和假设下证明了收敛性。
• 该算法被应用于存在高效子问题求解器的问题，如正则化最优传输和弹性网逻辑回归。
• 采用基于投影梯度接近零的定点停止准则：||Π_{‖x‖₁≤τ}(x − ∇F(x)) − x||∞ ≤ ε。

实验结果

研究问题

• RQ1 当目标函数光滑时，即使采用部分线性化，广义条件梯度方法是否仍能实现线性收敛？
• RQ2 子问题的最小化解与原问题最优性之间存在何种关系？
• RQ3 所提出的最优性证书在紧致性和收敛速率方面与标准Frank-Wolfe算法的最优性证书相比如何？
• RQ4 在稀疏学习设置下，CGS算法与SPG和PQN等投影梯度法相比，实际表现如何？
• RQ5 当步长固定时，该算法是否仍能保持效率，尤其是在早期迭代中？

主要发现

• 广义条件梯度方法（CGS）在目标函数光滑时实现了线性收敛速率，相较于标准Frank-Wolfe方法的次线性收敛速率有显著提升。
• 推导出一种新型最优性证书，其对对偶间隙的界比标准条件梯度方法更紧致。
• 在所有测试设置下（包括稀疏和高维问题），CGS算法的收敛速度均优于标准Frank-Wolfe算法。
• 在真实生物信息学数据集（colon和lymphoma）中，采用精确线搜索的CGS比SPG略高效，且显著优于PQN。
• 固定步长版本的CGS在早期迭代中表现最佳，比其他方法更快达到粗略最优性条件（10⁻²），表明其具有强大的初始进展能力。