[论文解读] A deep matrix factorization method for learning attribute representations

George Trigeorgis, Konstantinos Bousmalis+2 more|arXiv (Cornell University)|Sep 10, 2015

Face and Expression Recognition参考文献 33被引用 4

一句话总结

本文提出 Deep Semi-NMF，一种深度矩阵分解模型，通过多层非负分解建模潜在属性，学习数据的分层低维表示，从而提升聚类与分类性能。此外，还提出 Deep WSF，一种弱监督变体，通过图正则化利用部分属性标签，在人脸聚类与分类任务中表现优于最先进方法，尤其在标签有限的半监督设置下优势显著。

ABSTRACT

Semi-Non-negative Matrix Factorization is a technique that learns a low-dimensional representation of a dataset that lends itself to a clustering interpretation. It is possible that the mapping between this new representation and our original data matrix contains rather complex hierarchical information with implicit lower-level hidden attributes, that classical one level clustering methodologies can not interpret. In this work we propose a novel model, Deep Semi-NMF, that is able to learn such hidden representations that allow themselves to an interpretation of clustering according to different, unknown attributes of a given dataset. We also present a semi-supervised version of the algorithm, named Deep WSF, that allows the use of (partial) prior information for each of the known attributes of a dataset, that allows the model to be used on datasets with mixed attribute knowledge. Finally, we show that our models are able to learn low-dimensional representations that are better suited for clustering, but also classification, outperforming Semi-Non-negative Matrix Factorization, but also other state-of-the-art methodologies variants.

研究动机与目标

• 解决单层矩阵分解在捕捉数据中复杂分层属性结构方面的局限性。
• 开发一种无监督深度架构，学习多层隐藏表示，以提升聚类可解释性。
• 将部分属性标签整合到分解过程中，以增强半监督设置下的特征学习。
• 证明深度分解相较于标准 NMF 与 Semi-NMF，能为人脸属性聚类与分类提供更优表示。
• 展示使用 Deep WSF 进行预训练可提升无监督设置下游聚类性能。

提出的方法

• 提出 Deep Semi-NMF 作为深度架构，将数据矩阵 X 分解为多层因子 Z 与 H，其中每一层代表数据隐藏属性的一个抽象层级。
• 使用非线性深度模型将数据投影到一个非线性可分数据变为线性可分的空间，从而实现更优聚类。
• 在 Deep WSF 变体中应用图正则化，以整合已知属性的部分标签信息，提升特征学习。
• 使用带非负性约束的交替最小二乘法优化模型，对 H 因子施加非负约束，同时允许 Z 与 X 中出现混合符号。
• 采用三层结构，分别对应姿态、表情与身份属性，每层训练以学习其对应属性的表示。
• 在 CMU Multi-PIE 数据集上，使用 C=1 的 SVM 评估学习到的特征，并比较各模型性能。

实验结果

研究问题

• RQ1 深度矩阵分解模型是否能比单层方法更有效地学习捕捉数据中潜在属性的分层表示？
• RQ2 通过图正则化引入部分属性标签，是否能提升聚类与分类任务中学习表示的质量？
• RQ3 Deep WSF 模型能否通过预训练提升 Deep Semi-NMF 模型在无标签数据上的聚类性能？
• RQ4 Deep Semi-NMF 与 Deep WSF 在人脸属性聚类与分类任务中，相较于最先进 NMF 变体的性能如何？
• RQ5 深度架构在非线性数据分布中，对特征可分性的提升程度如何？

主要发现

• Deep Semi-NMF 在 CMU Multi-PIE 数据集上实现 61.22% 的身份聚类准确率，优于 Semi-NMF（36.46%）与标准 NMF（49.12%）。
• Deep WSF 在身份分类任务中达到 65.17% 准确率，超过次优方法（WSF-MA 的 64.08%）与所有无监督基线方法。
• 与 Deep Semi-NMF 的 81.50% 和 80.54% 相比，Deep WSF 在姿态与表情分类任务中分别提升至 82.90% 与 81.50%。
• 使用 Deep WSF 的权重对 Deep Semi-NMF 模型进行预训练，可提升其聚类性能，证明了学习特征的可迁移性。
• 深度架构成功学习到比浅层分解模型更适用于聚类与分类的表示。
• Deep WSF 中的图正则化使部分属性标签得到有效利用，从而实现优于完全无监督模型的特征学习。