[论文解读] Deep Approximately Orthogonal Nonnegative Matrix Factorization for Clustering
本文提出了一种新型深度矩阵分解方法——深度近似正交非负矩阵分解（DAONMF），通过在多层中同时强制执行非负性和近似正交性，以学习分层的、低维的、稀疏的表示，从而提升聚类性能。通过在深度架构中引入正交性惩罚进行微调，DAONMF在人脸图像数据集上的聚类性能优于当前最先进的单层和深度NMF方法。
Nonnegative Matrix Factorization (NMF) is a widely used technique for data representation. Inspired by the expressive power of deep learning, several NMF variants equipped with deep architectures have been proposed. However, these methods mostly use the only nonnegativity while ignoring task-specific features of data. In this paper, we propose a novel deep approximately orthogonal nonnegative matrix factorization method where both nonnegativity and orthogonality are imposed with the aim to perform a hierarchical clustering by using different level of abstractions of data. Experiment on two face image datasets showed that the proposed method achieved better clustering performance than other deep matrix factorization methods and state-of-the-art single layer NMF variants.
研究动机与目标
- 为解决现有深度矩阵分解方法仅依赖非负性而忽略任务特定结构约束（如正交性）的局限性。
- 通过在引入正交性约束的深度架构中学习分层的、抽象的、低维的表示，以提升聚类性能。
- 通过在多层中对非正交成分施加惩罚，将近似正交性整合到深度NMF中。
- 证明深度、近似正交的分解优于标准或单层NMF变体。
提出的方法
- 该方法通过在各层中分层分解映射矩阵W，扩展了深度半NMF，以实现数据特征的更深层次抽象。
- 在每一层的H矩阵上引入近似正交性惩罚，由正则化参数λ控制，以最小化冗余并增强聚类的区分度。
- 优化过程采用改进的HALS算法，结合块坐标下降法，迭代更新W和H，并通过投影强制执行非负性。
- 通过交替更新W和H进行微调，利用拉格朗日函数中正交性约束导出的闭式更新规则。
- 该算法采用两阶段流程：首先进行逐层AONMF初始化，随后通过跨层依赖关系迭代优化所有层。
- 对最终的H矩阵进行列归一化，使其L2范数为单位长度，从而在最后一层促进正交性。
实验结果
研究问题
- RQ1在深度NMF框架中，对多层施加近似正交性是否能提升聚类性能，相比标准或浅层NMF方法？
- RQ2与仅对H进行分解相比，对W矩阵进行分层分解是否能带来更优的高层特征抽象，从而提升聚类性能？
- RQ3正交性约束的整合如何影响深度矩阵分解中所学表示的稀疏性和区分度？
- RQ4深度矩阵分解的性能是否对深层中组件数量敏感？与单层方法相比有何差异？
主要发现
- 在CMU PIE数据集上，DAONMF的聚类准确率和归一化互信息（NMI）均高于单层AONMF和Deep Semi-NMF。
- 在Extended Yale B数据集上，DAONMF优于Deep Semi-NMF，并在所有测试的组件数量下与AONMF表现相当或更优。
- 该方法表明，带有正交性约束的更深层次表示能产生更具区分性且冗余更少的特征，从而提升聚类结果。
- 尽管增加组件数量会降低多层NMF的性能，但单层AONMF的性能保持稳定或有所提升，表明其在某些场景下对组件数量具有鲁棒性。
- 通过逐层正交性惩罚进行微调，显著提升了特征抽象能力，表现为在所有数据集上ACC和NMI的持续提升。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。