[论文解读] Learning the Hierarchical Parts of Objects by Deep Non-Smooth Nonnegative Matrix Factorization

Jinshi Yu, Guoxu Zhou+2 more|arXiv (Cornell University)|Mar 20, 2018

Advanced Image and Video Retrieval Techniques参考文献 37被引用 3

一句话总结

该论文提出深度非光滑非负矩阵分解（dnsNMF），一种分层深度学习框架，通过堆叠多层扩展了非光滑NMF（nsNMF），以学习基于部件的特征及越来越抽象的特征。通过将nsNMF的非负性与稀疏性控制能力与深度架构相结合，dnsNMF在人脸数据集上实现了更优的聚类性能，同时保持了数据保真度。

ABSTRACT

Nonsmooth Nonnegative Matrix Factorization (nsNMF) is capable of producing more localized, less overlapped feature representations than other variants of NMF while keeping satisfactory fit to data. However, nsNMF as well as other existing NMF methods is incompetent to learn hierarchical features of complex data due to its shallow structure. To fill this gap, we propose a deep nsNMF method coined by the fact that it possesses a deeper architecture compared with standard nsNMF. The deep nsNMF not only gives parts-based features due to the nonnegativity constraints, but also creates higher-level, more abstract features by combing lower-level ones. The in-depth description of how deep architecture can help to efficiently discover abstract features in dnsNMF is presented. And we also show that the deep nsNMF has close relationship with the deep autoencoder, suggesting that the proposed model inherits the major advantages from both deep learning and NMF. Extensive experiments demonstrate the standout performance of the proposed method in clustering analysis.

研究动机与目标

• 为解决浅层nsNMF在学习复杂数据分层、抽象特征方面的局限性。
• 克服传统NMF变体中固有的稀疏性与数据拟合之间的权衡。
• 开发一种保留nsNMF非负性与稀疏性优势的深度架构，同时实现多级抽象。
• 在dnsNMF与深度自编码器之间建立理论与实证联系。
• 证明加深nsNMF结构在无监督表征学习中的有效性。

提出的方法

• 提出由多层非光滑NMF（nsNMF）堆叠而成的深度架构，其中每一层均应用带平滑矩阵S的nsNMF模型。
• 采用分层分解：X ≈ Z₁(S₁Z₂(S₂…ZₖHₖ)…)，实现多级特征抽象。
• 对所有因子矩阵（Zᵢ, Hᵢ, Sᵢ）采用乘法更新规则，以确保非负性与收敛性。
• 为目标函数的梯度提供利普希茨连续性证明，支持稳定优化。
• 建立dnsNMF与受限深度自编码器之间的理论等价性，将其与深度学习原理相联系。
• 采用贪婪的逐层预训练策略初始化参数，以改善优化。

实验结果

研究问题

• RQ1 深度架构能否增强nsNMF在学习低层次部件之外的分层、抽象特征方面的能力？
• RQ2 网络深度如何影响dnsNMF的聚类性能与特征抽象能力？
• RQ3 dnsNMF与深度自编码器之间存在何种关系？该联系是否能解释其表征能力？
• RQ4 dnsNMF能否在保持高数据拟合精度的同时，实现特征矩阵与表示矩阵的高稀疏性？
• RQ5 在实际应用中，平衡聚类准确率与计算效率的最优深度是多少？

主要发现

• 与标准及浅层nsNMF相比，dnsNMF在AT&T ORL、JAFFE和Yale人脸数据集上的聚类准确率显著提升。
• 聚类准确率随深度增加而提升，直至某一临界点（如深度3–5），之后性能趋于平稳，表明超过中等深度后收益递减。
• 由于通过平滑矩阵S实现的非光滑正则化，模型在稀疏性方面优于标准NMF及其他变体，且特征重叠更少。
• 理论分析证实，dnsNMF目标函数的梯度具有利普希茨连续性，支持稳定优化。
• dnsNMF在数学上等价于一种受限深度自编码器，表明其兼具深度学习与NMF的优势。
• 实验表明，dnsNMF在聚类任务中优于现有深度NMF方法，如N-NMF、深度半NMF和SDNMF。