[论文解读] Fast and Effective Computation of Generalized Symmetric Matrix Factorization

Lei Yang, Han Wan+2 more|arXiv (Cornell University)|Mar 19, 2026

Tensor decomposition and applications被引用 0

一句话总结

引入 GSMF，这是一个灵活的非凸的一般化对称矩阵分解框架，证明了精确罚项/放松性质，并开发了 A-NAUM，一种具有平均型非单调线搜索的全局收敛交替优化算法。

ABSTRACT

In this paper, we study a nonconvex, nonsmooth, and non-Lipschitz generalized symmetric matrix factorization model that unifies a broad class of matrix factorization formulations arising in machine learning, image science, engineering, and related areas. We first establish two exactness properties. On the modeling side, we prove an exact penalty property showing that, under suitable conditions, the symmetry-inducing quadratic penalty enforces symmetry whenever the penalty parameter is sufficiently large but finite, thereby exactly recovering the associated symmetric formulation. On the algorithmic side, we introduce an auxiliary-variable splitting formulation and establish an exact relaxation relationship that rigorously links stationary points of the original objective function to those of a relaxed potential function. Building on these exactness properties, we propose an average-type nonmonotone alternating updating method (A-NAUM) based on the relaxed potential function. At each iteration, A-NAUM alternately updates the two factor blocks by (approximately) minimizing the potential function, while the auxiliary block is updated in closed form. To ensure the convergence and enhance practical performance, we further incorporate an average-type nonmonotone line search and show that it is well-defined under mild conditions. Moreover, based on the Kurdyka-Łojasiewicz property and its associated exponent, we establish global convergence of the entire sequence to a stationary point and derive convergence rate results. Finally, numerical experiments on real datasets demonstrate the efficiency of A-NAUM.

研究动机与目标

• 为矩阵分解构建一个覆盖 RMF、NMF、MC 及相关形式的统一模型的动机。
• 建立精确罚项和精确放松性质，以证明对称性强制和可处理的优化。
• 开发并分析一个具有全局收敛性的交替优化算法（A-NAUM），并带有平均型非单调线搜索。
• 在 KL 性质下提供收敛保证，并在真实数据上展示实际效率。

提出的方法

• 给出带有 X、Y、正则化项 Psi 和 Phi、线性映射 A，以及对称惩罚项 lambda 的广义对称矩阵分解（GSMF）问题。
• 引入辅助变量 Z 与放松势 Theta_alpha,beta,lambda，以将 XY^T 与 A 解耦，便于得到更简单的子问题并实现显式的 Z 更新。
• 证明精确罚项：对于足够大且有限的 lambda，驻点满足 X=Y，且等价于对称模型 SRMF 的驻点。
• 证明精确放松的联系：在满足条件时，Theta_alpha,beta,lambda 等价于 GSMF，且 F_lambda 的驻点与 Theta_alpha,beta,lambda 的驻点相对应。
• 开发 A-NAUM，一种带有显式 Z 更新的灵活全局收敛的平均型非单调交替更新方法，交替更新 X 和 Y，同时进行显式 Z 更新，使用近似型更新和线搜索。
• 给出收敛性分析：全局收敛到驻点，以及通过 KL 性质得到的速率结果。

实验结果

研究问题

• RQ1 在何种条件下 GSMF 的二次对称惩罚达到精确，能在驻点强制 X=Y？
• RQ2 如何通过引入辅助变量将 GSMF 重写，以将 XY^T 与 A 解耦并获得可处理的子问题？
• RQ3 是否能够利用 Theta_alpha,beta,lambda 及平均型非单调线搜索，为 GSMF 设计一个具有全局收敛性的交替优化算法？
• RQ4 在提出的算法下，基于 KL 假设能建立哪些收敛性质（驻点的存在与收敛速率）？
• RQ5 与基线相比，所提方法在真实数据集上的近似对称非负矩阵分解（及相关任务）方面的实验性能如何？

主要发现

• 在足够大但有限的 lambda 下，GSMF 的驻点满足 X=Y，并且对应于 SRMF 的驻点，证明了精确罚项的存在性。
• 在给定适当的参数关系且满足 A A* = I_q 的条件下，Theta_alpha,beta,lambda 与 GSMF 等价，且驻点在两个问题之间存在映射，证明了精确放松。
• A-NAUM 提供了一个灵活的全局收敛交替框架，具有显式 Z 更新和一个平均型非单调线搜索。
• 通过 KL 性质，证明了对驻点的全局收敛性以及序列的收敛速率，为整个算法提供鲁棒的理论保证。
• 在真实数据上的数值实验表明，A-NAUM 在近似对称 NMF 及相关任务上具有较高的效率和竞争力。