[论文解读] Incremental Majorization-Minimization Optimization with Application to Large-Scale Machine Learning

Julien Mairal|arXiv (Cornell University)|Feb 18, 2014

Sparse and Compressive Sensing Techniques参考文献 48被引用 21

一句话总结

本文提出 MISO（基于增量代理优化的最小化），一种用于大规模机器学习问题中连续函数之和的增量重大化-最小化算法。该算法通过使用一阶代理函数，在强凸复合目标函数下实现线性收敛，为非凸和凸设置提供了理论保证，是一种可扩展的替代方案，相较于随机和增量方法具有优势。

ABSTRACT

Majorization-minimization algorithms consist of successively minimizing a sequence of upper bounds of the objective function. These upper bounds are tight at the current estimate, and each iteration monotonically drives the objective function downhill. Such a simple principle is widely applicable and has been very popular in various scientific fields, especially in signal processing and statistics. In this paper, we propose an incremental majorization-minimization scheme for minimizing a large sum of continuous functions, a problem of utmost importance in machine learning. We present convergence guarantees for non-convex and convex optimization when the upper bounds approximate the objective up to a smooth error; we call such upper bounds "first-order surrogate functions". More precisely, we study asymptotic stationary point guarantees for non-convex problems, and for convex ones, we provide convergence rates for the expected objective function value. We apply our scheme to composite optimization and obtain a new incremental proximal gradient algorithm with linear convergence rate for strongly convex functions. In our experiments, we show that our method is competitive with the state of the art for solving machine learning problems such as logistic regression when the number of training samples is large enough, and we demonstrate its usefulness for sparse estimation with non-convex penalties.

研究动机与目标

• 为解决机器学习中大规模连续函数之和的最小化挑战，特别是当训练样本数 T 较大时。
• 开发一种可扩展的优化方案，在保持低每轮计算成本的同时，实现比随机方法更快的收敛速度。
• 为非凸和凸问题提供收敛保证——包括渐近收敛性和收敛速率——使用一阶代理函数。
• 将重大化-最小化框架扩展至增量设置，实现对大规模学习中有限和的高效处理。
• 在真实问题（如逻辑回归和带非凸惩罚的稀疏估计）上展示该方法的有效性。

提出的方法

• 提出一种增量方案，通过最小化目标函数的上界（即代理函数）实现，其中每个代理函数在当前迭代点处是紧致的。
• 使用一阶代理函数，其对目标函数的逼近误差为光滑项，确保可微性和利普希茨连续梯度性质。
• 采用循环更新规则，依次更新单个函数 f^t(θ)，同时维护完整目标函数的运行估计。
• 引入一种内存高效的更新机制，避免存储历史迭代点，类似于随机方法，但收敛速率更优。
• 将该框架应用于复合优化，推导出一种新型增量近端梯度算法，对强凸函数实现线性收敛。
• 利用方向导数、强凸性及利普希茨连续性等理论工具，建立收敛性质。

实验结果

研究问题

• RQ1 增量重大化-最小化方案能否在强凸复合问题中实现线性收敛？
• RQ2 代理函数需满足何种条件，才能为非凸和凸优化问题提供收敛保证？
• RQ3 与 SAG 和 SDCA 等现有随机和增量方法相比，所提出的 MISO 算法在收敛速率和可扩展性方面表现如何？
• RQ4 该方法能否在逻辑回归和带非凸惩罚的稀疏估计等大规模机器学习任务中有效应用？
• RQ5 是否可将收敛性分析扩展至代理函数的不精确最小化情形？

主要发现

• MISO 在最小化强凸复合目标函数时实现线性收敛，收敛速率与 SAG 和 SDCA 相当。
• 对于非凸问题，该算法保证以几乎必然收敛至驻点。
• 在代理函数满足强凸性和光滑性假设下，期望目标函数值以线性速率收敛。
• 实验表明，当 T 足够大时，MISO 在大规模逻辑回归任务上与最先进方法具有竞争力。
• 该方法在带非凸惩罚的稀疏估计中展现出实际应用价值，优于标准的凸松弛方法。
• 理论分析证实，一阶代理函数——即对目标函数逼近误差为光滑项的代理函数——可在计算开销最小化的同时，实现收敛保证。