[论文解读] MahNMF: Manhattan Non-negative Matrix Factorization

Naiyang Guan, Dacheng Tao+2 more|arXiv (Cornell University)|Jul 14, 2012

Sparse and Compressive Sensing Techniques参考文献 41被引用 142

一句话总结

本文提出曼哈顿非负矩阵分解（MahNMF），通过最小化非负数据矩阵与其低秩近似之间的曼哈顿距离，以稳健地建模重尾拉普拉斯噪声。通过利用非凸、非光滑优化方法，结合逐秩残差迭代（RRI）与内沃罗夫（Nesterov）的平滑化方法，MahNMF能有效分离低秩与稀疏分量，在人脸识别、视频处理和多视角学习任务中优于传统NMF、RPCA与GoDec。

ABSTRACT

Non-negative matrix factorization (NMF) approximates a non-negative matrix $X$ by a product of two non-negative low-rank factor matrices $W$ and $H$. NMF and its extensions minimize either the Kullback-Leibler divergence or the Euclidean distance between $X$ and $W^T H$ to model the Poisson noise or the Gaussian noise. In practice, when the noise distribution is heavy tailed, they cannot perform well. This paper presents Manhattan NMF (MahNMF) which minimizes the Manhattan distance between $X$ and $W^T H$ for modeling the heavy tailed Laplacian noise. Similar to sparse and low-rank matrix decompositions, MahNMF robustly estimates the low-rank part and the sparse part of a non-negative matrix and thus performs effectively when data are contaminated by outliers. We extend MahNMF for various practical applications by developing box-constrained MahNMF, manifold regularized MahNMF, group sparse MahNMF, elastic net inducing MahNMF, and symmetric MahNMF. The major contribution of this paper lies in two fast optimization algorithms for MahNMF and its extensions: the rank-one residual iteration (RRI) method and Nesterov's smoothing method. In particular, by approximating the residual matrix by the outer product of one row of W and one row of $H$ in MahNMF, we develop an RRI method to iteratively update each variable of $W$ and $H$ in a closed form solution. Although RRI is efficient for small scale MahNMF and some of its extensions, it is neither scalable to large scale matrices nor flexible enough to optimize all MahNMF extensions. Since the objective functions of MahNMF and its extensions are neither convex nor smooth, we apply Nesterov's smoothing method to recursively optimize one factor matrix with another matrix fixed. By setting the smoothing parameter inversely proportional to the iteration number, we improve the approximation accuracy iteratively for both MahNMF and its extensions.

研究动机与目标

• 解决传统NMF在处理重尾噪声（如拉普拉斯分布、椒盐噪声及遮挡相关异常值）方面的局限性。
• 开发一种鲁棒的矩阵分解框架，同时捕捉低秩结构与稀疏噪声，受RPCA与GoDec启发。
• 在提升对异常值鲁棒性的同时，保留真实世界数据（如图像、视频）的非负性约束。
• 设计适用于非凸、非光滑MahNMF目标的可扩展且高效的优化算法。
• 将MahNMF扩展至多种实用变体，包括框约束、流形正则化、组稀疏、弹性网络及对称形式，以适应多样化应用场景。

提出的方法

• 将MahNMF建模为最小化输入矩阵 $X$ 与其分解 $W^TH$ 之间的 L1（曼哈顿）距离，以建模拉普拉斯噪声。
• 引入逐秩残差迭代（RRI）方法，通过将残差矩阵近似为外积，以闭式解更新 $W$ 的一行与 $H$ 的一行。
• 应用内沃罗夫平滑化方法处理目标函数的非光滑性，使用与迭代次数成反比的平滑参数。
• 通过固定一个因子矩阵、优化另一个因子矩阵，结合平滑近似上的快速梯度法。
• 将MahNMF扩展至多种变体：框约束（施加边界限制）、流形正则化（保持数据几何结构）、组稀疏（结构化稀疏性）、弹性网络（稀疏性与平滑性权衡）及对称MahNMF（用于图像分割）。
• 建立对称MahNMF与归一化割（Ncuts）的等价性，使其可应用于谱聚类与图像分割。

实验结果

研究问题

• RQ1 与传统基于Kullback-Leibler散度或欧几里得距离的最小化相比，NMF中最小化曼哈顿距离是否能提升对重尾噪声的鲁棒性？
• RQ2 如何高效优化MahNMF的非凸、非光滑目标函数，以适用于小规模与大规模数据？
• RQ3 MahNMF在保留非负性的同时，与RPCA和GoDec相比，在真实世界数据中恢复低秩与稀疏分量方面，性能提升程度如何？
• RQ4 MahNMF及其变体能否通过学习各视角特有的稀疏基，同时保持跨视角一致性，从而有效建模多视角数据？
• RQ5 对称MahNMF在图像分割任务中是否能达到与归一化割（Ncuts）相当的性能，同时保持非负性与基于部分的表示？

主要发现

• MahNMF-GS在Pascal VOC 07数据集上达到39.76%的平均精度（mAP），在Mir Flickr数据集上达到41.69%，显著优于EucNMF-GS（35.29%与36.89%）与FLSS（32.15%与32.04%）。
• RRI方法在小规模问题上实现了快速收敛，但时间复杂度较高，限制了其在大规模矩阵上的可扩展性。
• 内沃罗夫平滑化方法通过迭代细化平滑参数，实现了更优的收敛性与逼近精度，有效优化了非光滑目标函数。
• MahNMF-GS学习到了各视角特有的稀疏基，并在各视角间保持一致的稀疏模式，实现了有效的多视角学习；而EucNMF-GS未能捕捉此类结构。
• 对称MahNMF被证明与归一化割（Ncuts）等价，验证了其在图像分割中的理论基础。
• 在监控视频与人脸图像数据集上，MahNMF在背景减除与光照建模任务中表现出稳健性能，与RPCA和GoDec相当，同时保持了非负性。