[论文解读] Dropping Symmetry for Fast Symmetric Nonnegative Matrix Factorization

Zhihui Zhu, Xiao Li+2 more|arXiv (Cornell University)|Nov 14, 2018

Face and Expression Recognition被引用 11

一句话总结

该论文提出了一种新颖的框架，通过将对称非负矩阵分解（NMF）重新表述为带正则化项的非对称NMF问题，从而加速其求解，该正则化项强制两个因子相等。通过利用专为非对称NMF设计的交替最小化算法，该方法实现了全局收敛至临界点，且收敛速率为次线性，为这类算法在对称NMF中的应用提供了首个严格的收敛性保证。

ABSTRACT

Symmetric nonnegative matrix factorization (NMF), a special but important class of the general NMF, is demonstrated to be useful for data analysis and in particular for various clustering tasks. Unfortunately, designing fast algorithms for Symmetric NMF is not as easy as for the nonsymmetric counterpart, the latter admitting the splitting property that allows efficient alternating-type algorithms. To overcome this issue, we transfer the symmetric NMF to a nonsymmetric one, then we can adopt the idea from the state-of-the-art algorithms for nonsymmetric NMF to design fast algorithms solving symmetric NMF. We rigorously establish that solving nonsymmetric reformulation returns a solution for symmetric NMF and then apply fast alternating based algorithms for the corresponding reformulated problem. Furthermore, we show these fast algorithms admit strong convergence guarantee in the sense that the generated sequence is convergent at least at a sublinear rate and it converges globally to a critical point of the symmetric NMF. We conduct experiments on both synthetic data and image clustering to support our result.

研究动机与目标

• 解决由于非对称NMF中缺乏分裂性质，导致对称NMF缺乏高效快速算法的问题。
• 通过使快速交替型算法得以应用，克服投影梯度下降（PGD）在对称NMF中收敛缓慢的问题。
• 为应用于重构后非对称问题的交替算法建立理论收敛保证。
• 确保在适当的正则化条件下，重构问题的解能恢复出有效的对称NMF解。

提出的方法

• 通过引入正则化项 $\frac{\lambda}{2}\|\boldsymbol{U}-\boldsymbol{V}\|_F^2$ 将对称NMF重新表述为非对称NMF问题，以强制 $\boldsymbol{U} = \boldsymbol{V}$。
• 在重构问题上应用交替最小化算法（如HALS、ANLS），以利用其高效性与收敛性特征。
• 证明当 $\lambda$ 足够大时，重构问题的任意有界能量临界点均满足 $\boldsymbol{U} = \boldsymbol{V}$。
• 通过分析目标函数的Kurdyka–Łojasiewicz（KL）性质，建立迭代序列的全局收敛性及次线性收敛速率。
• 证明所提算法在仅保留非负性约束的前提下，无需增广项或额外约束即可保持收敛性。
• 将该框架应用于合成数据与图像聚类任务，以验证其经验性能与收敛速度。

实验结果

研究问题

• RQ1 能否使用通常用于非对称NMF的快速交替型算法高效求解对称NMF？
• RQ2 在何种条件下，重构后非对称问题的解能恢复出有效的对称NMF解？
• RQ3 为应用于正则化非对称重构的交替算法可建立何种收敛性保证？
• RQ4 所提方法的收敛速率如何依赖于目标函数的KL指数？
• RQ5 所提框架在对称NMF的收敛速度上能否优于标准PGD？

主要发现

• 所提重构方法确保，当 $\lambda$ 足够大时，正则化非对称问题的任意临界点均满足 $\boldsymbol{U} = \boldsymbol{V}$，从而得到有效的对称NMF解。
• 应用于重构问题的交替最小化算法可全局收敛至对称NMF问题的临界点。
• 该算法至少具有全局次线性收敛速率，当KL指数 $\theta \in [0, \frac{1}{2}]$ 时可实现线性收敛。
• 收敛速率被定量刻画为：线性收敛时 $\|\boldsymbol{W}_k - \boldsymbol{W}^\star\|_F \leq \mathcal{O}(\rho^{k-\overline{k}})$，次线性收敛时 $\mathcal{O}((k - \overline{k})^{-\frac{1-\theta}{2\theta-1}})$。
• 在合成数据与图像聚类任务上的实证结果表明，其收敛速度优于标准PGD，验证了该方法的高效性。
• 该理论框架为对称NMF中无增广项或额外约束的交替型算法提供了首个严格的收敛性保证。