[论文解读] Enhancing Convolutional Neural Networks for Face Recognition with Occlusion Maps and Batch Triplet Loss

Daniel Sáez Trigueros, Li Meng+1 more|University of Hertfordshire Research Archive (University of Hertfordshire)|Jul 25, 2017

Face recognition and analysis参考文献 45被引用 75

一句话总结

论文提出 (1) 由遮挡图引导的数据增强，以训练在局部遮挡下表现鲁棒的CNN；(2) 一个批量三元组损失，最小化均值分离和分数方差以改进验证，在 LFW 和被遮挡的脸部数据集上显示出提升。

ABSTRACT

Despite the recent success of convolutional neural networks for computer vision applications, unconstrained face recognition remains a challenge. In this work, we make two contributions to the field. Firstly, we consider the problem of face recognition with partial occlusions and show how current approaches might suffer significant performance degradation when dealing with this kind of face images. We propose a simple method to find out which parts of the human face are more important to achieve a high recognition rate, and use that information during training to force a convolutional neural network to learn discriminative features from all the face regions more equally, including those that typical approaches tend to pay less attention to. We test the accuracy of the proposed method when dealing with real-life occlusions using the AR face database. Secondly, we propose a novel loss function called batch triplet loss that improves the performance of the triplet loss by adding an extra term to the loss function to cause minimisation of the standard deviation of both positive and negative scores. We show consistent improvement in the Labeled Faces in the Wild (LFW) benchmark by applying both proposed adjustments to the convolutional neural network training.

研究动机与目标

• 在现实生活中的遮挡下推动鲁棒人脸识别，并识别哪些脸部区域驱动 CNN 的决策。
• 引入基于遮挡敏感图的遮挡数据增强，以在脸部区域之间平衡特征学习。
• 提出批量三元组损失，通过控制分数分布来提升对未见身份的泛化能力。

提出的方法

• 使用一个包含 10 个卷积层和一个全连接层的 CNN 架构，作为分类器进行训练，以获得用于验证的瓶颈特征。
• 通过遮挡图像区域并求平均来构建二值遮挡图，以识别高影响与低影响的脸部区域。
• 使用根据遮挡图所导出的概率分布放置遮挡物来增强训练，以突出高影响区域。
• 用新颖的批量三元组损失对瓶颈特征进行微调，该损失将均值分离（三元组损失项）与正负分数的方差项相结合（式(9)）。
• 在训练期间采用在线三元组采样来选择有信息量的三元组（锚点、正样本、负样本）。

实验结果

研究问题

• RQ1 在无约束场景下，带遮挡感知的数据增强是否能提升 CNN 对部分脸部遮挡的鲁棒性？
• RQ2 同时最小化正负分布之间的边界和它们的方差的批量三元组损失是否能在标准基准上提升验证性能？
• RQ3 在对现实遮挡的泛化方面，带遮挡感知的训练方案与随机遮挡数据增强相比有何差异？

主要发现

• 与基线以及随机遮挡方案相比，采用策略性放置遮挡物的遮挡感知训练可提高平均准确率并降低在遮挡位置上的变异性。
• 遮挡图揭示人脸中央区域为高效区域，定向增强有助于模型从脸部外部区域学习到判别特征。
• 在 AR 面部数据库上，使用遮挡数据训练的模型优于基线，尤其在低误接受率下，中等遮挡通常提供最佳综合性能。
• 在 LFW 上，使用批量三元组损失微调的模型（模型 C）始终优于使用标准三元组损失训练的模型（模型 B）。
• 带遮挡感知的微调结合批量三元组损失在遮挡和非遮挡评估场景中均相对于基线有所提升。