[论文解读] An Inertial Block Majorization Minimization Framework for Nonsmooth Nonconvex Optimization

Le Thi Khanh Hien, Duy Nhat Phan+1 more|arXiv (Cornell University)|Oct 22, 2020

Sparse and Compressive Sensing Techniques被引用 11

一句话总结

本文提出了TITAN，一种新颖的惯性块主要化-最小化框架，用于非光滑非凸优化，通过外推算子引入惯性力以加速收敛。该方法建立了次序收敛和全局收敛的保证，并在稀疏非负矩阵分解和矩阵补全问题上展示了有效性。

ABSTRACT

In this paper, we introduce TITAN, a novel inerTIal block majorizaTion minimizAtioN framework for non-smooth non-convex optimization problems. To the best of our knowledge, TITAN is the first framework of block-coordinate update method that relies on the majorization-minimization framework while embedding inertial force to each step of the block updates. The inertial force is obtained via an extrapolation operator that subsumes heavy-ball and Nesterov-type accelerations for block proximal gradient methods as special cases. By choosing various surrogate functions, such as proximal, Lipschitz gradient, Bregman, quadratic, and composite surrogate functions, and by varying the extrapolation operator, TITAN produces a rich set of inertial block-coordinate update methods. We study sub-sequential convergence as well as global convergence for the generated sequence of TITAN. We illustrate the effectiveness of TITAN on two important machine learning problems, namely sparse non-negative matrix factorization and matrix completion.

研究动机与目标

• 解决块坐标主要化-最小化方法在非光滑非凸问题中缺乏惯性加速的问题。
• 开发一个统一的框架，通过外推算子将惯性力嵌入块更新中。
• 在问题结构的一般假设下，确保迭代序列收敛到临界点。
• 提供一个灵活的算法模板，支持多种近似函数和外推方案。
• 在稀疏NMF和矩阵补全等关键机器学习问题上展示实际有效性。

提出的方法

• 提出TITAN，一种惯性块主要化-最小化算法，通过外推估计顺序更新各块，以加速收敛。
• 使用一种通用的外推算子，可统一重球法和Nesterov型加速。
• 构建近似函数（近端、Lipschitz梯度、Bregman、二次、复合等）以在每个块更新时主要化非凸目标函数。
• 引入线搜索策略，以确保每次迭代中目标函数的充分下降。
• 采用李雅普诺夫函数方法证明收敛性，利用外推和近似函数的性质。
• 通过加权连续迭代差分引入惯性项，系数满足收缩条件以确保稳定性。

实验结果

研究问题

• RQ1 惯性加速能否有效集成到非光滑非凸问题的块坐标主要化-最小化方法中？
• RQ2 在一般问题假设下，此类惯性框架的收敛性保证为何？
• RQ3 近似函数和外推算子的选择如何影响算法的收敛性和性能？
• RQ4 该框架能否应用于包含非凸和非光滑分量的实际机器学习问题？
• RQ5 与标准块坐标方法相比，惯性力的引入是否能带来更快的收敛速度？

主要发现

• 在温和假设下，TITAN可实现次序收敛至非凸问题的临界点。
• 在目标函数和外推参数满足额外条件时，可建立整个序列的全局收敛性。
• 该框架支持多种近似函数（近端、Bregman、Lipschitz梯度等），并可作为已知方法的特例推广。
• 数值实验表明，TITAN在稀疏非负矩阵分解和矩阵补全任务中，收敛速度优于标准块坐标方法。
• 惯性机制显著加速了收敛，尤其在早期迭代中，归因于类似动量的行为。
• 收敛性分析对非凸性和非光滑性具有鲁棒性，涵盖目标函数中的凸与非凸正则化项。