[论文解读] Attribute Adaptive Margin Softmax Loss using Privileged Information

Seyed Mehdi Iranmanesh, Ali Dabouei+1 more|arXiv (Cornell University)|Sep 4, 2020

Face recognition and analysis参考文献 37被引用 8

一句话总结

本文提出了一种新型损失函数——属性自适应边缘Softmax损失（ATAM），该方法在训练过程中利用软生物特征属性作为特权信息，动态调整深度度量学习中的类别边缘。通过基于属性学习自适应边缘，ATAM提升了特征的判别能力，缓解了类别不平衡问题，并在极少修改网络结构的前提下，在人脸识别和行人重识别任务中取得了最先进性能。

ABSTRACT

We present a novel framework to exploit privileged information for recognition which is provided only during the training phase. Here, we focus on recognition task where images are provided as the main view and soft biometric traits (attributes) are provided as the privileged data (only available during training phase). We demonstrate that more discriminative feature space can be learned by enforcing a deep network to adjust adaptive margins between classes utilizing attributes. This tight constraint also effectively reduces the class imbalance inherent in the local data neighborhood, thus carving more balanced class boundaries locally and using feature space more efficiently. Extensive experiments are performed on five different datasets and the results show the superiority of our method compared to the state-of-the-art models in both tasks of face recognition and person re-identification.

研究动机与目标

• 解决深度度量学习在识别任务中面临的类别不平衡与判别能力有限的挑战。
• 利用仅在训练阶段可用的软生物特征属性（如性别、发色等）作为特权信息，以改善特征学习。
• 设计一种损失函数，基于属性信息为每个类别学习自适应边缘，而非使用固定边缘。
• 在闭集和开集识别协议下均提升性能，尤其针对少数类或视觉差异较大的类别。
• 在测试阶段无需属性信息的前提下，验证方法在不平衡数据集上的有效性。

提出的方法

• 提出一种新型损失函数——属性自适应边缘Softmax损失（ATAM），通过基于属性嵌入使标准Softmax损失中的边缘 $ m $ 实现自适应与可学习化。
• 采用多任务头在训练过程中从属性嵌入预测类别特定的边缘，使网络能够学习到哪些类别需要更大的或更小的边缘。
• 端到端训练网络，使用交叉熵损失联合优化特征嵌入与自适应边缘预测。
• 将ATAM损失集成到标准CNN主干网络（如ResNet-50）和多粒度网络（如MGN）中，无需添加辅助损失函数。
• 确保仅在训练阶段使用属性信息，从而保持标准的推理流程不变。
• 在标准评估协议与指标下，将该方法应用于人脸识别与行人重识别任务。

实验结果

研究问题

• RQ1 当仅在训练阶段可用时，特权属性信息是否能提升识别任务中深度特征的判别能力？
• RQ2 基于属性信息学习类别自适应边缘，是否能相比固定边缘方法带来更好的泛化性能并降低类内方差？
• RQ3 在包含少数类且视觉差异较大的不平衡数据集上，所提出的ATAM损失表现如何？
• RQ4 ATAM是否能在无需推理阶段属性信息或额外损失函数的情况下实现最先进性能？
• RQ5 自适应边缘的使用在开集识别场景中能在多大程度上提升性能？

主要发现

• 在DukeMTMC-reID数据集上，MGN + ATAM模型实现了97.1%的R-1准确率和88.3%的mAP，优于使用多种损失函数的最先进方法。
• 在Market-1501数据集上，MGN + ATAM模型实现了95.1%的R-1准确率和86.5%的mAP，超越了使用AMSoftmax和CircleLoss的相同主干网络模型。
• 在仅使用单一损失函数的情况下，该方法在Market-1501上实现了95.1%的R-1准确率和86.5%的mAP，展现出强大的性能而无需辅助损失。
• ATAM优于在训练和推理阶段均使用属性信息的方法（如APR和AANet-50），证明了仅在训练阶段使用特权信息的有效性。
• 自适应边缘机制有效降低了类内方差，并改善了局部类别边界的平衡性，尤其对少数类和高变异性类别效果显著。
• 大量消融实验表明，基于属性的边缘自适应显著提升了五种不同数据集上的特征判别能力与泛化性能。