[论文解读] Convergence Analysis of a Stochastic Projection-free Algorithm.

Jean Lafond, Hoi-To Wai+1 more|arXiv (Cornell University)|Oct 5, 2015

Sparse and Compressive Sensing Techniques参考文献 25被引用 11

一句话总结

本文提出了一种用于约束凸优化的随机Frank-Wolfe算法，证明了在一般条件下收敛速率为$\mathcal{O}(\sqrt{\eta_t^{\Delta}}/t)$，当最优解位于内部时收敛速率为$\mathcal{O}(\eta_t^{\Delta}/t)$。该文为实际机器学习应用中的梯度估计建立了紧致的误差界，并通过数值模拟验证了结果。

ABSTRACT

This paper presents and analyzes a stochastic version of the Frank-Wolfe algorithm (a.k.a. conditional gradient method or projection-free algorithm) for constrained convex optimization. We first prove that when the quality of gradient estimate improves as ${\cal O}( \sqrt{ \eta_t^{\Delta} / t } )$, where $t$ is the iteration index and $\eta_t^{\Delta}$ is an increasing sequence, then the objective value of the stochastic Frank-Wolfe algorithm converges in at least the same order. When the optimal solution lies in the interior of the constraint set, the convergence rate is accelerated to ${\cal O}(\eta_t^{\Delta} /t)$. Secondly, we study how the stochastic Frank-Wolfe algorithm can be applied to a few practical machine learning problems. Tight bounds on the gradient estimate errors for these examples are established. Numerical simulations support our findings.

研究动机与目标

• 开发并分析一种避免投影步骤的Frank-Wolfe算法变体，实现在约束下的高效优化。
• 在受控梯度估计误差条件下，建立随机Frank-Wolfe方法的收敛速率。
• 研究最优解的内部性如何影响收敛速度。
• 为现实世界机器学习问题中的梯度估计推导出紧致的误差界。
• 通过实际应用中的数值模拟验证理论发现。

提出的方法

• 提出一种在每次迭代中使用噪声梯度估计的随机Frank-Wolfe算法，避免对约束集进行显式投影。
• 引入序列$\eta_t^{\Delta}$以控制梯度估计的质量，其质量随时间改善。
• 通过将期望次优间隙以$\eta_t^{\Delta}$和迭代次数$t$表示来分析收敛性。
• 推导出在一般条件下收敛速率为$\mathcal{O}(\sqrt{\eta_t^{\Delta}}/t)$，当最优解位于约束集的相对内部时收敛速率为$\mathcal{O}(\eta_t^{\Delta}/t)$。
• 将该算法应用于实际机器学习问题，并推导出针对具体问题的梯度估计误差边界。
• 通过数值模拟验证理论收敛速率和误差界。

实验结果

研究问题

• RQ1 当梯度估计质量以$\mathcal{O}(\sqrt{\eta_t^{\Delta}}/t)$的速度改善时，随机Frank-Wolfe算法的收敛速率是多少？
• RQ2 当最优解位于约束集内部时，收敛速率如何变化？
• RQ3 针对随机Frank-Wolfe方法在特定机器学习应用中的梯度估计误差，其紧致边界是什么？
• RQ4 理论收敛速率能否通过数值模拟得到经验验证？
• RQ5 $\eta_t^{\Delta}$的选择如何影响算法的收敛行为？

主要发现

• 当梯度估计质量以$\mathcal{O}(\sqrt{\eta_t^{\Delta}}/t)$的速度改善时，随机Frank-Wolfe算法实现了$\mathcal{O}(\sqrt{\eta_t^{\Delta}}/t)$的收敛速率。
• 当最优解位于约束集内部时，收敛速率提升至$\mathcal{O}(\eta_t^{\Delta}/t)$。
• 为特定机器学习应用推导出了梯度估计误差的紧致边界，支持了理论收敛保证。
• 数值模拟证实了理论收敛速率，并验证了所提算法的有效性。
• 该算法在保持无投影特性的前提下，实现了在受控随机误差条件下的收敛。