[论文解读] Feature Transfer Learning for Deep Face Recognition with Under-Represented Data

Xi Yin, Yu Xiang+3 more|arXiv (Cornell University)|Mar 23, 2018

Face recognition and analysis参考文献 55被引用 26

一句话总结

本文提出一种基于中心的特征迁移学习（FTL）框架，以解决深度人脸识别中因少数样本的低资源（UR）类别导致的分类器偏差问题。通过将常规（充分表示）类别在特征空间中的主成分方差迁移到UR类别，FTL在保持身份信息的同时丰富了类内多样性，交替训练策略同时提升了决策边界的公平性与特征可分性，在LFW、IJB-A和MS-Celeb-1M上实现了最先进性能。

ABSTRACT

Despite the large volume of face recognition datasets, there is a significant portion of subjects, of which the samples are insufficient and thus under-represented. Ignoring such significant portion results in insufficient training data. Training with under-represented data leads to biased classifiers in conventionally-trained deep networks. In this paper, we propose a center-based feature transfer framework to augment the feature space of under-represented subjects from the regular subjects that have sufficiently diverse samples. A Gaussian prior of the variance is assumed across all subjects and the variance from regular ones are transferred to the under-represented ones. This encourages the under-represented distribution to be closer to the regular distribution. Further, an alternating training regimen is proposed to simultaneously achieve less biased classifiers and a more discriminative feature representation. We conduct ablative study to mimic the under-represented datasets by varying the portion of under-represented classes on the MS-Celeb-1M dataset. Advantageous results on LFW, IJB-A and MS-Celeb-1M demonstrate the effectiveness of our feature transfer and training strategy, compared to both general baselines and state-of-the-art methods. Moreover, our feature transfer successfully presents smooth visual interpolation, which conducts disentanglement to preserve identity of a class while augmenting its feature space with non-identity variations such as pose and lighting.

研究动机与目标

• 解决因训练数据不平衡，特别是少数样本UR类别导致的深度人脸识别分类器偏差问题。
• 开发一种方法，在不减少数据量的前提下增强UR类别的特征空间，促进类内多样性。
• 设计一种训练策略，通过交替优化同时降低分类器偏差并提升特征可分性。
• 通过迁移的特征方差，实现对少样本和零样本识别场景的有效泛化。

提出的方法

• 基于中心的特征迁移模块通过从常规类别中迁移估计出的主成分方差，为UR类别生成合成特征样本。
• 该方法假设所有类别共享一个高斯先验，具有类别特定的均值和共享的方差，从而在保留身份信息的同时实现非身份变化（如姿态、光照）的迁移。
• 采用交替的双阶段训练方案：在特征迁移阶段固定编码器以重塑决策边界，随后在分类器阶段固定分类器以优化特征表示。
• 引入一种新型的m-L2正则化，以增强特征紧凑性和泛化能力，且与特征迁移机制正交。
• 使用解码器网络可视化特征插值与迁移过程，实现身份与非身份成分的解耦。
• 通过分别利用中心和方差分量对身份与非身份变化进行特征插值，实现平滑的视觉过渡。

实验结果

研究问题

• RQ1 能否通过从常规类别向低资源类别迁移特征，减少深度人脸识别中的分类器偏差？
• RQ2 如何在不牺牲数据量或身份信息的前提下，丰富低资源类别的特征空间多样性？
• RQ3 交替训练策略能否同时改善决策边界的公平性与特征可分性？
• RQ4 所提方法在少样本和零样本人脸识别场景中的泛化能力如何？
• RQ5 解耦的特征空间是否能实现平滑的视觉插值，从而将身份与非身份变化有效分离？

主要发现

• 在LFW基准上，所提FTL方法达到99.55%的准确率，与SOTA方法如FaceNet（99.63%）和CosFace（99.73%）相当。
• 在IJB-A基准上，FTL相比基线方法性能提升0.6%至2.8%，与度量学习结合（MP + TA）后进一步提升。
• 在MS-Celeb-1M的零样本挑战中，该方法取得具有竞争力的结果，证明其在低数据场景下的有效性。
• 可视化结果表明，特征插值过程平滑，身份信息被完整保留，而姿态、光照、表情等非身份变化被逐步迁移。
• m-L2正则化在不同识别任务中均持续提升性能，证明其与特征迁移机制具有正交优势。
• 特征迁移成功实现身份与非身份成分的解耦，通过分别对身份与非身份变化进行插值得到验证，避免了传统插值方法中常见的伪影。