[论文解读] MarginDistillation: distillation for margin-based softmax

David Svitov, Sergey Alyamkin|arXiv (Cornell University)|Mar 5, 2020

Face recognition and analysis参考文献 22被引用 5

一句话总结

本文提出了一种名为MarginDistillation的新颖蒸馏方法，用于训练基于边缘的Softmax（如ArcFace）的轻量化人脸识别模型。该方法将教师网络中的类别中心嵌入和角度边缘传递至学生网络，使学生能够学习到相同的类间角度分离。该方法在LFW（99.61%）、AgeDB-30（96.55%）和MegaFace（91.70%）基准上实现了最先进（SOTA）的准确率，优于现有的蒸馏技术。

ABSTRACT

The usage of convolutional neural networks (CNNs) in conjunction with a margin-based softmax approach demonstrates a state-of-the-art performance for the face recognition problem. Recently, lightweight neural network models trained with the margin-based softmax have been introduced for the face identification task for edge devices. In this paper, we propose a novel distillation method for lightweight neural network architectures that outperforms other known methods for the face recognition task on LFW, AgeDB-30 and Megaface datasets. The idea of the proposed method is to use class centers from the teacher network for the student network. Then the student network is trained to get the same angles between the class centers and the face embeddings, predicted by the teacher network.

研究动机与目标

• 减少在人脸识别中大型教师网络与轻量化学生网络之间的性能差距。
• 提升使用基于边缘的Softmax损失训练的移动端优化人脸识别模型的准确率。
• 开发一种专为基于边缘的Softmax设计的蒸馏方法，因为该方法在人脸识别中已知能实现最先进性能。
• 在标准基准上，对MarginDistillation与现有蒸馏方法（如三元组、角度、基于边缘的蒸馏）进行实证比较。
• 提供开源实现，以确保可复现性，并促进在移动端和边缘AI应用中的广泛采用。

提出的方法

• 该方法将预训练教师网络（使用ArcFace损失的ResNet100）中的类别中心传递至学生网络（MobileFaceNet）。
• 学生网络被训练以匹配教师网络预测的类别中心与人脸嵌入之间的角度关系。
• 在训练过程中，学生网络中的类别中心被冻结，以保持教师网络所学习的角度边缘结构。
• 训练目标是最小化学生网络中人脸嵌入与传递的类别中心之间形成的角度，与教师网络中的角度差异。
• 该方法使用基于边缘的Softmax损失（ArcFace），并采用固定超参数（s=64, m_max=0.5, m_min=0.2），以保持与教师网络的一致性。
• 该方法使用MXNet实现，并与使用温度缩放的三元组蒸馏、角度蒸馏和基于边缘的蒸馏进行直接比较。

实验结果

研究问题

• RQ1 从教师网络中传递类别中心和角度边缘是否能提升轻量化学生网络在人脸识别中的性能？
• RQ2 MarginDistillation在标准人脸识别基准上与现有蒸馏方法（如三元组、角度、基于边缘的蒸馏）相比表现如何？
• RQ3 所提出的方法是否能减少使用基于边缘的Softmax训练的大规模教师网络与小型学生网络之间的准确率差距？
• RQ4 MarginDistillation在包含一百万个干扰项的MegaFace等具有挑战性的大规模数据集上是否有效？
• RQ5 该方法是否可推广至ArcFace以外的其他基于边缘的Softmax变体？

主要发现

• 在LFW数据集上，MarginDistillation实现了99.61%的准确率，比表现最佳的对比方法（角度蒸馏）高出0.06个百分点。
• 在AgeDB-30上，该方法达到96.55%的准确率，比最佳基线方法（角度蒸馏）高出0.42个百分点，也比仅使用ArcFace训练的学生网络高出0.42个百分点。
• 在具有挑战性的MegaFace基准上，MarginDistillation实现了91.70%的Top-1识别准确率，比次佳方法（T=4的基于边缘蒸馏）高出0.93个百分点。
• 该方法在所有三个数据集上均持续优于所有对比的蒸馏基线，表现出强大的鲁棒性和泛化能力。
• 性能提升归因于通过类别中心对齐有效传递了角度边缘结构，从而保留了教师网络所学习的判别性特征空间。
• 消融实验表明，冻结传递的类别中心至关重要，因为微调它们会导致性能下降。