[论文解读] Nonconvex proximal splitting: batch and incremental algorithms

Suvrit Sra|arXiv (Cornell University)|Sep 1, 2011

Sparse and Compressive Sensing Techniques参考文献 30被引用 7

一句话总结

本文提出了非凸不精确邻近分裂（NIPS）框架，用于求解大规模、非光滑、非凸复合优化问题。通过允许非消失的计算误差和非递减步长，NIPS 支持可扩展的批量与增量算法——首次对增量非凸邻近分裂算法进行了理论分析，并在大规模矩阵分解任务上通过实证验证，其性能与当前最先进方法相当。

ABSTRACT

Within the unmanageably large class of nonconvex optimization, we consider the rich subclass of nonsmooth problems that have composite objectives---this already includes the extensively studied convex, composite objective problems as a special case. For this subclass, we introduce a powerful, new framework that permits asymptotically non-vanishing perturbations. In particular, we develop perturbation-based batch and incremental (online like) nonconvex proximal splitting algorithms. To our knowledge, this is the first time that such perturbation-based nonconvex splitting algorithms are being proposed and analyzed. While the main contribution of the paper is the theoretical framework, we complement our results by presenting some empirical results on matrix factorization.

研究动机与目标

• 解决具有复合目标函数的大规模、非光滑、非凸优化问题。
• 开发一种新算法框架，允许非消失的计算误差和非递减步长，避免对误差消失和步长递减的严格假设。
• 首次对增量非凸邻近分裂算法提供理论分析。
• 在大规模矩阵分解问题上展示该框架的可扩展性与有效性。
• 克服现有方法依赖单调下降或次梯度方法的局限性。

提出的方法

• NIPS 框架将问题重新表述为一个包含光滑函数 f（可能非凸）和凸函数 g（可能非光滑）的复合目标的无约束最小化问题。
• 通过将光滑梯度步长与处理非光滑正则项的邻近步长解耦，采用邻近分裂方法。
• 显式建模计算误差为非消失形式，这对实际可扩展性至关重要，并避免对误差消失或步长递减的假设。
• 推导了算法的批量与增量变体，其中增量版本适用于在线和大规模场景。
• 通过引入辅助变量重新表述问题，并采用闭式解或高效更新求解子问题，将框架实例化于大规模非光滑矩阵分解。
• 在弱化假设下建立了收敛性，基于 Solodov（1997）的工作，并将其扩展至不可微、复合、非凸问题。

实验结果

研究问题

• RQ1 能否开发一种非凸邻近分裂框架，允许非消失的计算误差和非递减步长？
• RQ2 是否可能设计一种无需目标函数单调下降的增量、可扩展算法，用于非凸复合问题？
• RQ3 与 SGGD 和 SPAMS 等现有方法相比，所提出的 NIPS 框架在收敛速度和解质量方面表现如何？
• RQ4 该框架能否在引入稀疏性诱导正则项的大规模矩阵分解中有效应用？
• RQ5 在非凸、非光滑且存在非消失误差的设置下，理论收敛保证是什么？

主要发现

• NIPS 框架是首个对增量非凸邻近分裂算法提供理论分析的框架，使大规模问题的可扩展求解成为可能。
• 实证结果表明，Matlab 实现的 NIPS 在稠密矩阵上与高度优化的 C++ SPAMS 工具箱性能相当，表明其通过 C++ 移植具有进一步提速潜力。
• 在稀疏矩阵分解任务中，NIPS 实现的目标准值更低，且解的稀疏性显著优于 SGGD 方法，后者需要大量步长调优。
• 即使在更少的超参数调优下，NIPS 在解质量和稀疏性方面仍优于 SGGD，展现出更强的鲁棒性与实际优势。
• NIPS 方法适用于广泛问题，包括凸与非凸前向-后向分裂、梯度投影法和邻近点法的批量与增量变体。
• 该框架处理非消失误差的能力使其在计算噪声固有且不可控的复杂系统中更具现实意义。