[论文解读] An Average Curvature Accelerated Composite Gradient Method for Nonconvex Smooth Composite Optimization Problems

Jiaming Liang, Renato D. C. Monteiro|arXiv (Cornell University)|Sep 10, 2019

Sparse and Compressive Sensing Techniques参考文献 26被引用 4

一句话总结

本文提出了一种用于非凸光滑复合优化的平均曲率加速复合梯度（AC-ACG）方法，通过使用过去曲率的平均值自适应地设定Lipschitz常数估计。与回溯法不同，该方法即使在曲率高估的情况下也始终接受第一个迭代点，实现了收敛速率 $\|v\|^2 = \mathcal{O}(M_k/k)$，其中 $M_k$ 为平均曲率，从而在合成问题和真实世界问题上均表现出更高的效率。

ABSTRACT

This paper presents an accelerated composite gradient (ACG) variant, referred to as the AC-ACG method, for solving nonconvex smooth composite minimization problems. As opposed to well-known ACG variants that are either based on a known Lipschitz gradient constant or a sequence of maximum observed curvatures, the current one is based on the average of all past observed curvatures. More specifically, AC-ACG uses a positive multiple of the average of all observed curvatures until the previous iteration as a way to estimate the "function curvature" at the current point and then two resolvent evaluations to compute the next iterate. In contrast to other variable Lipschitz estimation variants, e.g., the ones based on the maximum curvature, AC-ACG always accepts the aforementioned iterate regardless how poor the Lipschitz estimation turns out to be. Finally, computational results are presented to illustrate the efficiency of AC-ACG on both randomly generated and real-world problem instances.

研究动机与目标

• 开发一种无需已知Lipschitz常数的高效一阶方法，用于非凸光滑复合优化。
• 通过在自适应步长选择中以平均曲率替代最大曲率估计，提升收敛速度。
• 在避免回溯线搜索的同时，确保收敛性和迭代复杂度保证。
• 在随机生成和真实世界问题实例上展示优越性能。

提出的方法

• AC-ACG将曲率估计 $M_k$ 计算为截至第 $k-1$ 次迭代所有观测曲率的正倍数的平均值。
• 每轮迭代使用两次近射算子评估：一次通过近端子问题 $y_{k+1} = \arg\min_x \{ \ell_f(x;\tilde{x}_k) + h(x) + \frac{M_k}{2}\|x - \tilde{x}_k\|^2 \}$。
• 若 $M_k$ 高估了真实曲率，方法仍接受近端步长；若低估，则通过第二次近射算子评估计算 $y_k$ 与辅助迭代点的凸组合。
• 通过始终接受首次计算的迭代点，避免回溯，确保无线搜索操作。
• 近射中心 $\tilde{x}_k$ 选择为 $y_k$ 与辅助迭代点 $x_k$ 的凸组合，从而实现加速。
• 收敛性分析建立了 $\|v\|^2 = \mathcal{O}(M_k/k)$ 的速率界，其中 $v \in \partial f(y) + \partial h(y)$。

实验结果

研究问题

• RQ1 使用过去曲率的平均值而非最大值，是否能改善非凸复合优化中的收敛性？
• RQ2 基于平均曲率的无线搜索方法是否能保持迭代复杂度保证？
• RQ3 在实践中，AC-ACG 与基于回溯的 ACG 变体在非凸问题上的表现如何比较？
• RQ4 能否将收敛速率表达为平均曲率 $M_k$ 的函数，而非上界 $M$？

主要发现

• AC-ACG 实现了 $\|v\|^2 = \mathcal{O}(M_k/k)$ 的收敛速率，其中 $M_k$ 为平均曲率，当 $M_k$ 较小时收敛更快。
• 在数值实验中，AC-ACG 在运行时间上优于 AG、NM、UP、NC、AD 和 ACT，且在合成与真实世界问题上均实现最快终止。
• AC-ACG 计算的平均曲率 $M_k$ 显著小于初始值 $M$ 和最大曲率，表明曲率估计有效。
• 在所有测试案例中，AC-ACG 保持了高达 91%–99% 的“良好”迭代比例，显示出良好的鲁棒性。
• 在人脸图像的NMF问题中，AC-ACG 实现了第二快的运行时间（4.70秒）和最低的迭代次数（36次），优于 AG、NM 和 ACT。
• 尽管运行时间更短，NM 找到的客观值略优，但 AC-ACG 以显著更低的计算成本实现了相当的客观值质量。