[论文解读] Beyond Alternating Updates for Matrix Factorization with Inertial Bregman Proximal Gradient Algorithms

Mahesh Chandra Mukkamala, Peter Ochs|arXiv (Cornell University)|Jan 1, 2019

Sparse and Compressive Sensing Techniques被引用 8

一句话总结

本文提出了一种用于矩阵分解的新型Bregman距离，通过惯性Bregman邻近梯度方法实现非交替优化，确保全局收敛至驻点，同时相比传统交替方案实现更快的收敛速度和更优的目标值。

ABSTRACT

Matrix Factorization is a popular non-convex optimization problem, for which alternating minimization schemes are mostly used. They usually suffer from the major drawback that the solution is biased towards one of the optimization variables. A remedy is non-alternating schemes. However, due to a lack of Lipschitz continuity of the gradient in matrix factorization problems, convergence cannot be guaranteed. A recently developed approach relies on the concept of Bregman distances, which generalizes the standard Euclidean distance. We exploit this theory by proposing a novel Bregman distance for matrix factorization problems, which, at the same time, allows for simple/closed form update steps. Therefore, for non-alternating schemes, such as the recently introduced Bregman Proximal Gradient (BPG) method and an inertial variant Convex--Concave Inertial BPG (CoCaIn BPG), convergence of the whole sequence to a stationary point is proved for Matrix Factorization. In several experiments, we observe a superior performance of our non-alternating schemes in terms of speed and objective value at the limit point.

研究动机与目标

• 解决矩阵分解中交替最小化方法存在的偏差问题，该问题倾向于偏好某一变量而非另一变量。
• 克服矩阵分解中梯度Lipschitz连续性不足的问题，该问题阻碍了标准非交替方法的收敛性。
• 设计一种支持闭式更新步骤的Bregman距离，同时为非交替优化提供收敛性保证。
• 将Bregman邻近梯度（BPG）方法及其惯性变体CoCaIn BPG扩展至矩阵分解，并提供理论收敛性证明。
• 通过实验验证所提方法在收敛速度和目标值性能方面优于交替方案。

提出的方法

• 为矩阵分解问题专门设计一种新型Bregman距离，替代传统的欧几里得距离。
• 将Bregman邻近梯度（BPG）方法及其惯性变体CoCaIn BPG应用于矩阵分解的非交替优化。
• 设计Bregman距离以确保闭式更新步骤，从而实现无需迭代求解器的高效计算。
• 在所提框架下，理论证明整个序列收敛至驻点。
• 利用广义Bregman距离规避对梯度Lipschitz连续性的依赖，而该性质在矩阵分解中通常不成立。
• 在CoCaIn BPG变体中引入惯性项，以加速收敛，同时保持收敛性保证。

实验结果

研究问题

• RQ1 能否为矩阵分解设计一种新型Bregman距离，使其支持非交替优化与闭式更新？
• RQ2 所提出的带惯性项的非交替BPG方法是否能在矩阵分解中实现全局收敛至驻点？
• RQ3 与交替最小化方法相比，所提方法在收敛速度和最终目标值方面的性能如何？
• RQ4 所提Bregman距离能否克服矩阵分解问题中梯度Lipschitz连续性缺失的问题？
• RQ5 惯性项对矩阵分解中收敛行为和解质量有何影响？

主要发现

• 所提Bregman距离在非交替矩阵分解中实现了闭式更新步骤，简化了实现并提升了效率。
• 在所提框架下，BPG与CoCaIn BPG的整个序列收敛至驻点的理论保证均成立。
• 非交替方案相比标准交替最小化方法具有更快的收敛速率。
• 在多次实验中，所提方法在收敛时的最终目标值始终优于交替方案。
• 惯性变体CoCaIn BPG在保持收敛性保证的同时加速了收敛。
• 该方法通过利用定制化的Bregman距离，有效处理了矩阵分解中常见的非Lipschitz梯度问题。