[论文解读] More Efficient Accelerated Proximal Algorithm for Nonconvex Problems

Quanming Yao, James T. Kwok|arXiv (Cornell University)|Dec 29, 2016

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出了一种更高效的非凸优化加速近端梯度（APG）算法，该算法每轮迭代仅需一次不精确的近端步长，确保以 O(1/k) 的收敛速率收敛至临界点。该方法在显著降低计算成本的同时，实现了最先进的预测性能。

ABSTRACT

The accelerated proximal gradient (APG) algorithm is a popular optimization tool in machine learning. Though originally designed for convex problems, there is growing interest in extending it for nonconvex problems. Recent examples include the monotone and nonmonotone APG algorithms in \cite{li2015accelerated}. However, each iteration requires more than one proximal steps. This can be computationally demanding when the proximal step has no closed-form solution or when the solution is expensive. In this paper, we propose an efficient APG algorithm for nonconvex problems. In each iteration, it requires only one inexact (less expensive) proximal step. Convergence to a critical point is still guaranteed, and a $O(1/k)$ convergence rate is derived. Experimental results on various machine learning problems demonstrate that the proposed algorithm has comparable prediction performance as the state-of-the-art, but is much faster.

研究动机与目标

• 为解决现有非凸优化加速近端梯度（APG）方法在每轮迭代中需要多次昂贵近端步长所导致的高计算成本问题。
• 开发一种高效的APG变体，在保持收敛性保证的同时降低每轮迭代的复杂度。
• 确保在每轮迭代仅使用一次不精确近端步长的前提下，实现收敛至临界点。
• 在最小化计算开销的前提下，为非凸问题实现理论上的O(1/k)收敛速率。
• 在机器学习任务中，通过实证验证其在速度上的优越性，同时不牺牲预测性能。

提出的方法

• 提出一种新的非凸优化APG框架，每轮迭代仅使用一次不精确近端步长，从而减轻计算负担。
• 引入一种线搜索策略，以确保目标函数的充分下降，从而在最小化每轮迭代成本的前提下实现收敛。
• 采用不精确近端步长，避免精确求解近端子问题，适用于无闭式解的优化问题。
• 在保持APG动量机制的同时，在较弱假设下确保全局收敛至临界点。
• 推导出非凸问题下O(1/k)的收敛速率，与现有此类方法的最佳已知速率一致。
• 通过最小化昂贵子问题的求解次数，使算法在实际中更加高效，同时保持理论保证。

实验结果

研究问题

• RQ1 能否设计一种非凸APG算法，使其每轮迭代仅需一次不精确近端步长，同时仍能保证收敛至临界点？
• RQ2 此类单步APG方法在非凸问题下的理论收敛速率是多少？
• RQ3 在实际应用中，该方法的计算效率与现有采用多近端步长的APG变体相比如何？
• RQ4 所提方法在真实世界机器学习任务中是否能保持与最先进算法相当的预测性能？
• RQ5 该方法能否在不牺牲解质量的前提下实现更快的收敛速度？

主要发现

• 所提算法在非凸问题上实现了O(1/k)的收敛速率，与APG方法的最佳已知速率一致。
• 尽管每轮迭代仅使用一次不精确近端步长，该方法仍能收敛至临界点。
• 与需要多次近端步长的现有APG变体相比，该算法表现出显著更快的收敛速度。
• 在多种机器学习问题上，该方法实现了与最先进方法相当的预测性能。
• 当近端步长计算成本较高或缺乏闭式解时，该方法尤其具有优势。
• 实证结果证实，每轮迭代成本的降低带来了显著的速度提升，且未损失解的质量。