[论文解读] Approximation Algorithms for Orthogonal Non-negative Matrix Factorization

Moses Charikar, Lunjia Hu|arXiv (Cornell University)|Mar 2, 2021

Face and Expression Recognition参考文献 52被引用 5

一句话总结

本文首次提出了正交非负矩阵分解（ONMF）的常数因子近似算法，在一个或两个因子中确保完全正交性的同时，实现了具有竞争力的近似误差。通过利用加权 $k$-means 近似子程序，该方法保证了理论上的误差界，并在准确性和运行时间方面优于以往算法，尤其在噪声条件下表现更优。

ABSTRACT

In the non-negative matrix factorization (NMF) problem, the input is an $m imes n$ matrix $M$ with non-negative entries and the goal is to factorize it as $M\approx AW$. The $m imes k$ matrix $A$ and the $k imes n$ matrix $W$ are both constrained to have non-negative entries. This is in contrast to singular value decomposition, where the matrices $A$ and $W$ can have negative entries but must satisfy the orthogonality constraint: the columns of $A$ are orthogonal and the rows of $W$ are also orthogonal. The orthogonal non-negative matrix factorization (ONMF) problem imposes both the non-negativity and the orthogonality constraints, and previous work showed that it leads to better performances than NMF on many clustering tasks. We give the first constant-factor approximation algorithm for ONMF when one or both of $A$ and $W$ are subject to the orthogonality constraint. We also show an interesting connection to the correlation clustering problem on bipartite graphs. Our experiments on synthetic and real-world data show that our algorithm achieves similar or smaller errors compared to previous ONMF algorithms while ensuring perfect orthogonality (many previous algorithms do not satisfy the hard orthogonality constraint).

研究动机与目标

• 解决 ONMF 在任意内维数下缺乏理论最坏情况近似保证的问题。
• 设计一种可证明高效的算法，强制在 $A$ 和/或 $W$ 中实现精确正交性，同时最小化 Frobenius 范数误差。
• 通过提供近似比，弥合 ONMF 的经验成功与理论理解之间的差距。
• 确保在合成数据和真实世界数据上的实际效率与鲁棒性，尤其在噪声条件下。
• 证明正交性作为一种正则化项，即使在噪声数据上重建误差略高，也能改善结构恢复能力。

提出的方法

• 使用加权 $k$-means 的 $r$-近似算法作为子程序，具体为 $(9+\varepsilon)$-近似局部搜索算法。
• 设计两阶段算法：第一阶段，使用 $k$-means 子程序对 $M$ 的行或列进行聚类；第二阶段，通过带非负性和正交性约束的最小二乘投影计算 $A$ 和 $W$。
• 通过确保 $A$ 的列与 $W$ 的行具有不相交的支撑集，结合非负性与内积为零，实现正交性。
• 对于双因子正交性，推导出近似比 $\left(2r + \frac{8r+8}{\sin^2(\pi/12)}\right)$，当 $r$ 固定时为常数。
• 通过归一化和零行移除，利用 $\|WW^T - I\|_F$ 在非零行上度量非正交性。
• 使用带有预设解和 i.i.d. 指数噪声的合成数据，在受控条件下评估结构恢复与重建误差。

实验结果

研究问题

• RQ1 当在一个或两个因子中强制正交性时，能否设计出 ONMF 的常数因子近似算法？
• RQ2 与非正交 NMF 方法相比，强制实现完全正交性对近似误差和结构恢复有何影响？
• RQ3 在 Frobenius 范数误差与正交性约束下，ONMF 可实现的理论近似比是多少？
• RQ4 与现有 ONMF 方法相比，该算法在噪声和合成数据上的实际表现如何？
• RQ5 正交性约束是否起到正则化作用，即使在噪声数据上重建误差略高，也能改善底层结构的恢复？

主要发现

• 所提算法在单因子正交性下实现了 $2r$ 的可证明近似比，在双因子正交性下实现了 $\left(2r + \frac{8r+8}{\sin^2(\pi/12)}\right)$ 的近似比，其中 $r$ 为 $k$-means 子程序的近似比。
• 在 $m=100, n=5000, k=10$ 的合成数据上，算法实现了完全正交性，结构恢复误差与非正交方法相当，且恢复效果略优，重建误差略差于预设解。
• 由于依赖高效的 $k$-means++ 风格聚类，该算法相比以往迭代方法（包括 EM-ONMF 和 ONMFS）运行速度快得多。
• 在较小矩阵（$m=10, n=50, k=2$）上，尽管 ONMFS 同样保证完全正交性，该算法在恢复和重建误差上均优于 ONMFS。
• 对于所提算法和 ONMFS，$WW^T - I$ 的 Frobenius 范数恒为零，确认了所有运行中均实现了完全正交性。
• 预设解的重建误差集中在 $\sqrt{2mn}$ 倍噪声水平附近，而所提算法的平均重建误差低于此基准。