[论文解读] Supervised COSMOS Autoencoder: Learning Beyond the Euclidean Loss!

Maneet Singh, Shruti Nagpal+3 more|arXiv (Cornell University)|Oct 15, 2018

Face recognition and analysis参考文献 56被引用 5

一句话总结

本文提出了一种新型多目标自编码器——监督式 COSMOS 自编码器，通过联合优化余弦相似度（方向相似性）、马氏距离（分布一致性）和互信息（判别性特征学习），提升了分类性能。该模型在 MNIST、CIFAR-10、SVHN、CelebA、LFWA、Adience 和 IJB-A 等数据集上，在图像分类、属性预测和人脸识别任务中均取得了最先进性能。

ABSTRACT

Autoencoders are unsupervised deep learning models used for learning representations. In literature, autoencoders have shown to perform well on a variety of tasks spread across multiple domains, thereby establishing widespread applicability. Typically, an autoencoder is trained to generate a model that minimizes the reconstruction error between the input and the reconstructed output, computed in terms of the Euclidean distance. While this can be useful for applications related to unsupervised reconstruction, it may not be optimal for classification. In this paper, we propose a novel Supervised COSMOS Autoencoder which utilizes a multi-objective loss function to learn representations that simultaneously encode the (i) "similarity" between the input and reconstructed vectors in terms of their direction, (ii) "distribution" of pixel values of the reconstruction with respect to the input sample, while also incorporating (iii) "discriminability" in the feature learning pipeline. The proposed autoencoder model incorporates a Cosine similarity and Mahalanobis distance based loss function, along with supervision via Mutual Information based loss. Detailed analysis of each component of the proposed model motivates its applicability for feature learning in different classification tasks. The efficacy of Supervised COSMOS autoencoder is demonstrated via extensive experimental evaluations on different image datasets. The proposed model outperforms existing algorithms on MNIST, CIFAR-10, and SVHN databases. It also yields state-of-the-art results on CelebA, LFWA, Adience, and IJB-A databases for attribute prediction and face recognition, respectively.

研究动机与目标

• 为解决传统自编码器仅优化欧几里得重建损失所带来的局限性，该损失在分类任务中可能并非最优。
• 通过引入方向相似性（余弦相似度）、分布一致性（马氏距离）和判别性监督（互信息）来提升特征学习能力。
• 构建一个统一框架，学习在光照、姿态和旋转变化下依然鲁棒且不变的表示。
• 在包括图像分类、属性预测和人脸识别在内的多样化基准上展示优越性能。

提出的方法

• 该模型采用多目标损失函数，结合输入向量与重建向量之间的余弦相似度，以保留方向关系。
• 通过引入马氏距离，建模输入与重建结果之间的分布相似性，捕捉局部数据结构。
• 通过基于互信息的损失引入监督信号，以增强所学习特征的判别能力。
• 采用端到端训练方式，结合重建、方向性、分布性和判别性目标进行优化。
• 应用分块技术从图像块中提取局部特征，并将其与全局特征融合，以提升鲁棒性。
• 模型采用深层编码器-解码器结构，包含多层隐藏层，通过自适应学习率进行反向传播优化。

实验结果

研究问题

• RQ1 在重建损失中结合方向性（余弦）相似度与分布性（马氏）相似度，是否能提升分类任务的特征质量？
• RQ2 将互信息作为监督信号引入，是否能增强自编码器所学习特征的判别能力？
• RQ3 通过分块（基于图像块）与全局（整图）表示的融合机制（即分块技术），对分类准确率有何影响？
• RQ4 所提出的 COSMOS 损失是否在分类基准上优于传统的欧几里得损失及其他度量组合？

主要发现

• 监督式 COSMOS 自编码器在 MNIST 上达到最先进性能，测试准确率达到 98.92%。
• 在 CIFAR-10 上，该模型达到 94.14% 的准确率，在评估设置中优于现有方法。
• 在 SVHN 上，模型实现 98.51% 的准确率，表明其在数字识别任务中具有强大的泛化能力。
• 在 CelebA 上，模型在属性预测任务中达到 93.98% 的准确率，显著优于基线模型。
• 对于 '戴眼镜' 和 '椭圆脸' 等属性，模型显著减少了正样本与负样本之间的得分重叠，表明特征可分性得到提升。
• 引入分块技术使 CelebA 和 SVHN 上的性能均提升约 2%，证实了局部-全局特征融合的有效性。