[论文解读] Model Distillation with Knowledge Transfer from Face Classification to Alignment and Verification

Chong Wang, Xipeng Lan+1 more|arXiv (Cornell University)|Sep 9, 2017

Face recognition and analysis参考文献 19被引用 17

一句话总结

本文提出将面部分类任务中的知识蒸馏迁移至面部对齐与验证任务，利用蒸馏教师网络的知识对较小的学生网络进行初始化和引导。通过选择合适的初始化策略与蒸馏目标——尤其是软预测结果与联合损失函数——学生模型在CelebA和CASIA-WebFace数据集上实现了与教师模型相当或更优的性能，尤其在高模型压缩率下表现突出。

ABSTRACT

Knowledge distillation is a potential solution for model compression. The idea is to make a small student network imitate the target of a large teacher network, then the student network can be competitive to the teacher one. Most previous studies focus on model distillation in the classification task, where they propose different architects and initializations for the student network. However, only the classification task is not enough, and other related tasks such as regression and retrieval are barely considered. To solve the problem, in this paper, we take face recognition as a breaking point and propose model distillation with knowledge transfer from face classification to alignment and verification. By selecting appropriate initializations and targets in the knowledge transfer, the distillation can be easier in non-classification tasks. Experiments on the CelebA and CASIA-WebFace datasets demonstrate that the student network can be competitive to the teacher one in alignment and verification, and even surpasses the teacher network under specific compression rates. In addition, to achieve stronger knowledge transfer, we also use a common initialization trick to improve the distillation performance of classification. Evaluations on the CASIA-Webface and large-scale MS-Celeb-1M datasets show the effectiveness of this simple trick.

研究动机与目标

• 将知识蒸馏的应用从分类任务拓展至人脸识别中的回归与检索任务，具体为面部对齐与验证任务。
• 探究如何有效利用预训练面部分类模型的蒸馏知识，以提升学生网络在非分类任务中的性能。
• 识别出能增强对齐与验证任务中蒸馏性能的最优初始化策略与蒸馏目标（如软预测结果、隐藏特征等）。
• 通过一种简单的初始化技巧，提升分类任务中的知识蒸馏性能，并进一步增强其向下游任务的迁移效果。
• 在MS-Celeb-1M与CASIA-WebFace等大规模数据集上评估该方法，验证其泛化性与可扩展性。

提出的方法

• 通过教师网络的特征作为初始化，将蒸馏后的面部分类教师网络的知识迁移至学生网络，用于面部对齐与验证任务。
• 将教师网络的软预测结果（logits）作为学生网络的蒸馏目标，尤其在验证与对齐任务中应用。
• 在验证任务中采用结合三元组损失与Softmax交叉熵损失的联合损失函数，以稳定训练并提升性能。
• 实施一种通用的初始化技巧——使用ImageNet预训练模型或蒸馏后的分类模型——作为所有任务中知识蒸馏的强初始起点。
• 使用知识蒸馏训练学生网络，同时结合任务特定目标（如对齐任务中的关键点位置）与来自分类任务的迁移知识。
• 优化损失函数中的超参数α与β，以平衡蒸馏与任务特定监督，其中α=1, β=0（软预测）取得最佳效果。

实验结果

研究问题

• RQ1 从面部分类任务中进行知识蒸馏，能否有效提升非分类任务（如面部对齐与验证）的性能？
• RQ2 何种初始化策略（如预训练、基于蒸馏的初始化）能实现对对齐与验证任务的最佳性能迁移？
• RQ3 在对齐与验证任务中，哪种蒸馏目标（软预测结果、logits或隐藏特征）能带来更优的性能表现？
• RQ4 将软标签蒸馏与任务特定损失（如三元组损失）结合，如何影响验证准确率？
• RQ5 一种简单的初始化技巧是否能提升分类任务中的蒸馏性能，并进一步增强向下游任务的迁移效果？

主要发现

• 在压缩率为1/2（ResNet-50/2）时，通过面部分类知识迁移训练的学生网络在面部验证任务中表现超越教师网络，达到79.96%的top-1准确率，优于教师的74.16%。
• 在CASIA-WebFace数据集上，采用软预测目标（α=1, β=0）与联合损失（Softmax + 三元组）的蒸馏显著提升了验证准确率，尤其对小型学生网络效果明显。
• 初始化技巧——使用蒸馏或预训练的分类模型——显著提升了分类任务中的蒸馏性能，从而进一步增强了下游对齐与验证任务的结果。
• 在面部对齐任务中，来自分类任务的知识迁移改善了学生网络的性能，证明了蒸馏在回归任务中同样有效。
• 在验证任务中，仅使用蒸馏（α=0, β=0）的基线性能较差，因教师预测置信度低；加入Softmax损失后性能恢复，并使学生网络超越教师。
• 在MS-Celeb-1M上的实验验证了该方法在大规模数据上的可扩展性与有效性，展示了在多种压缩率下的一致性提升。