[论文解读] Fast dual proximal gradient algorithms with rate $O(1/k^{1.5})$ for convex minimization

Donghwan Kim, Jeffrey A. Fessler|arXiv (Cornell University)|Sep 29, 2016

Sparse and Compressive Sensing Techniques参考文献 12被引用 5

一句话总结

该论文提出了一种广义快速对偶邻近梯度（GFDPG）算法，用于最小化复合凸函数，其中一项目标函数为强凸函数，实现了改进的收敛速率 $O(1/k^{1.5})$。通过将广义加速邻近梯度法（GFPGM）整合到对偶问题中，该方法加速了对偶邻近梯度范数的下降，从而相比现有具有 $O(1/k)$ 收敛速率的 FDPG 方法，实现了更快的原始函数下降速度。

ABSTRACT

We consider minimizing the composite function that consists of a strongly convex function and a convex function. The fast dual proximal gradient (FDPG) method decreases the dual function with a rate $O(1/k^2)$, leading to a rate $O(1/k)$ for decreasing the primal function. We propose a generalized FDPG method that guarantees an $O(1/k^{1.5})$ rate for the dual proximal gradient norm decrease. By relating this to the primal function decrease, the proposed approach decreases the primal function with the improved $O(1/k^{1.5})$ rate.

研究动机与目标

• 改进涉及强凸函数的复合凸优化问题中基于对偶的邻近梯度方法的收敛速率。
• 建立复合凸问题中对偶邻近梯度范数下降与原始函数下降之间的联系。
• 开发一种广义快速对偶邻近梯度（GFDPG）方法，实现原始函数的更快 $O(1/k^{1.5})$ 收敛速率。
• 将 Nesterov 和 Necoara 的分析扩展至具有强凸性的通用复合问题。
• 引入回溯方案，以处理强凸性参数未知或难以估计的情况。

提出的方法

• 通过拉格朗日对偶性将原始复合问题重新表述为对偶形式，利用其中一项成分的强凸性。
• 在对偶问题上应用广义加速邻近梯度法（GFPGM），替代先前 FDPG 方法中使用的标准 FISTA 加速机制。
• GFPGM 确保对偶邻近梯度范数以 $O(1/k^{1.5})$ 的速率减小，该结果被证明可直接导出原始函数下降的相同速率。
• 分析基于涉及序列 $\mathbf{y}_k$、$\mathbf{w}_k$ 和 $\mathbf{s}_k$ 的递归不等式，结合参数 $T_k$、$t_k$ 和 $L_k$，采用望远镜求和论证方法。
• 该方法包含一种回溯方案，用于处理强凸性参数 $\sigma$ 未知或难以估计的情况，同时保持 $O(1/k^{1.5})$ 的收敛速率。
• 通过邻近算子的性质和强凸性，推导出关键不等式，从而对原始函数误差和迭代点到最优解的距离建立上界。

实验结果

研究问题

• RQ1 基于对偶的邻近梯度方法在具有强凸性的复合凸问题中，其收敛速率能否超越 $O(1/k)$？
• RQ2 此类问题中，对偶邻近梯度范数的下降与原始函数误差之间是否存在直接关联？
• RQ3 广义 FPGM（GFPGM）能否与对偶性有效结合，实现原始函数下降的更快 $O(1/k^{1.5})$ 速率？
• RQ4 当强凸性参数未知或近似估计时，所提出的 GFDPG 方法是否仍能保持改进的收敛速率？
• RQ5 在实际应用中，该方法与标准 FDPG 和基于 FISTA 的方法相比，收敛速度如何？

主要发现

• 所提出的 GFDPG 方法实现了原始函数下降速率 $O(1/k^{1.5})$，优于标准 FDPG 方法的 $O(1/k)$ 速率。
• 对偶邻近梯度范数的下降速率与原始函数误差之间存在直接关联，从而支持了改进收敛速率的推导。
• 即使强凸性参数 $\sigma$ 未知，通过引入回溯方案，该方法仍能保持 $O(1/k^{1.5})$ 的收敛速率。
• 作为副产品，也证明了原始函数下降的 $O(1/k)$ 上界，该速率与标准 FDPG 方法一致。
• 理论分析证实，递归不等式的望远镜求和可通过对迭代点到最优解距离的有界性，导出 $O(1/k^{1.5})$ 的收敛速率。
• 该方法计算高效，复杂度与 FISTA 相当，适用于大规模应用，如图像去噪和模型预测控制。