[论文解读] Intersecting Faces: Non-negative Matrix Factorization With New Guarantees

Rong Ge, James Zou|arXiv (Cornell University)|Jul 8, 2015

Medical Image Segmentation Techniques参考文献 23被引用 11

一句话总结

本文提出子集可分离非负矩阵分解（NMF），这是可分离NMF的一种推广，可在更宽松的条件下实现唯一且最小体积的分解。作者提出了Face-Intersect算法，在子集可分离性条件下可证明地恢复真实分解，且对小范围对抗性噪声具有鲁棒性，在合成数据和真实生物数据的模拟中均优于最先进方法。

ABSTRACT

Non-negative matrix factorization (NMF) is a natural model of admixture and is widely used in science and engineering. A plethora of algorithms have been developed to tackle NMF, but due to the non-convex nature of the problem, there is little guarantee on how well these methods work. Recently a surge of research have focused on a very restricted class of NMFs, called separable NMF, where provably correct algorithms have been developed. In this paper, we propose the notion of subset-separable NMF, which substantially generalizes the property of separability. We show that subset-separability is a natural necessary condition for the factorization to be unique or to have minimum volume. We developed the Face-Intersect algorithm which provably and efficiently solves subset-separable NMF under natural conditions, and we prove that our algorithm is robust to small noise. We explored the performance of Face-Intersect on simulations and discuss settings where it empirically outperformed the state-of-art methods. Our work is a step towards finding provably correct algorithms that solve large classes of NMF problems.

研究动机与目标

• 通过引入子集可分离性作为更自然且更一般的条件，将可分离NMF的概念推广至更广泛的问题类别。
• 在自然的几何条件下，开发一种可证明正确且鲁棒的算法，用于求解子集可分离NMF。
• 证明子集可分离性是实现唯一或最小体积NMF分解的必要条件。
• 通过准确度和对噪声的鲁棒性，对Face-Intersect算法与最先进NMF求解器进行实证评估。
• 建立理论基础，使可证明正确的算法能够适用于远超可分离NMF的更大类NMF问题。

提出的方法

• 引入子集可分离性的概念，其中每个源（W的行）由特征（面）的唯一组合表示，而非如可分离NMF中由单个特征表示。
• 开发Face-Intersect算法，通过交集（仿射包）对应于特征子集的数据点的面来识别潜在成分。
• 利用非负数据中凸包与面的几何性质，通过支撑超平面的交集定位W的真实成分。
• 证明在适当的面填充条件下，Face-Intersect在无噪声情况下可精确恢复真实W和A矩阵。
• 通过证明在有界扰动下算法输出仍接近真实分解，建立对小范围对抗性噪声的鲁棒性。
• 通过合成数据和真实世界DNA甲基化数据的模拟验证该方法，与Anchor-Words和Projected Gradient方法进行比较。

实验结果

研究问题

• RQ1 子集可分离性能否作为可分离性的推广，从而实现NMF分解的可证明恢复？
• RQ2 在何种几何条件下，Face-Intersect算法可证明地恢复子集可分离NMF中的真实分解？
• RQ3 与现有最先进NMF求解器相比，Face-Intersect算法在准确度和鲁棒性方面表现如何？
• RQ4 子集可分离性是否是实现唯一或最小体积NMF分解的必要条件？
• RQ5 在低噪声水平的实际场景中，Face-Intersect算法能否优于现有方法？

主要发现

• 在低噪声的合成模拟中，Face-Intersect在重构W矩阵（潜在成分）方面显著优于Anchor-Words和Projected Gradient。
• 在重构观测数据矩阵M̃时，当噪声水平低于12.5%时，Face-Intersect略优于Anchor-Words，且两者均显著优于Projected Gradient。
• 在包含5种细胞类型和600个样本的真实DNA甲基化数据中，Face-Intersect在恢复真实W矩阵方面显著优于Anchor-Words。
• 当噪声低于8%时，Face-Intersect在重构M和M̃方面表现出统计上更优的性能，尽管差异在量级上较小。
• 随着噪声增加，算法性能下降，所有方法在约12.5%噪声时趋于收敛，表明超过该阈值后鲁棒性受到限制。
• 子集可分离性被证明是实现唯一或最小体积NMF分解的必要条件，验证了其理论重要性。