[论文解读] Face Attention Network: An Effective Face Detector for the Occluded Faces

Jianfeng Wang, Ye Yuan+1 more|arXiv (Cornell University)|Nov 20, 2017

Face recognition and analysis参考文献 36被引用 144

一句话总结

FAN 引入锚点级注意力和定向数据增强，以在基于单阶段 RetinaNet 的检测器中改善被遮挡人脸的检测，在 WiderFace 和 MAFA 上实现了最先进的结果，同时不牺牲速度。

ABSTRACT

The performance of face detection has been largely improved with the development of convolutional neural network. However, the occlusion issue due to mask and sunglasses, is still a challenging problem. The improvement on the recall of these occluded cases usually brings the risk of high false positives. In this paper, we present a novel face detector called Face Attention Network (FAN), which can significantly improve the recall of the face detection problem in the occluded case without compromising the speed. More specifically, we propose a new anchor-level attention, which will highlight the features from the face region. Integrated with our anchor assign strategy and data augmentation techniques, we obtain state-of-art results on public face detection benchmarks like WiderFace and MAFA. The code will be released for reproduction.

研究动机与目标

• 解决面部检测中的遮挡问题，包括口罩和太阳镜。
• 在不增加假阳性的前提下，提升对遮挡人脸的召回率。
• 提出一个具有锚点级注意力的实用单阶段检测器。
• 在 WiderFace 和 MAFA 基准上展示最先进的性能。

提出的方法

• 使用受 RetinaNet 启发的一阶段检测器，采用特征金字塔网络（FPN）作为骨干，进行多尺度人脸检测。
• 引入锚点级注意力：逐层的注意力图由真实锚框监督，以突出面部区域并抑制非面部区域。
• 设计一个包含五个金字塔层级和两种纵横比（1 和 1.5）的锚框分配策略，以覆盖从 16^2 到 406^2 像素的面孔。
• 通过在与特征图进行点积之前，将注意力图通过指数运算以保留上下文来训练注意力模块。
• 应用包括随机裁剪在内的数据增强，以生成更多被遮挡的人脸并增加遮挡多样性。
• 使用多任务损失进行优化，结合 focal 分类损失、平滑L1回归损失以及用于注意力的像素级 sigmoid 交叉熵。

实验结果

研究问题

• RQ1 锚点级注意力是否可以在不增加假阳性的情况下提升对遮挡人脸的召回率？
• RQ2 尺度感知锚设计如何影响遮挡场景中不同尺寸人脸的检测？
• RQ3 面向遮挡的数据增强对检测器性能有何影响？
• RQ4 FAN 在保持速度的同时是否在 WiderFace 和 MAFA 数据集上达到最先进的结果？

主要发现

AP（简单）	AP（中等）	AP（困难）
0.946	0.936	0.885

• FAN 在 WiderFace 测试集上达到最先进的 AP：easy 0.946，medium 0.936，hard 0.885。
• FAN 在 MAFA 遮挡子集的遮挡人脸检测方面显著提升，优于以往检测器。
• 消融实验表明锚点级注意力和数据增强对性能提升有贡献，特别是在遮挡场景中。
• 在不同输入尺寸下推理速度保持较快，例如在 TITAN Xp 的最小尺寸 400 时为 23.8 ms，AP 也具有竞争力。
• 锚点设置（覆盖尺度）对性能有实质性影响，FAN 设计的锚框优于 RetinaNet 基线。
• FAN 通过多轮 refinements（密集锚框、注意力、数据增强、多尺度）在验证集的 AP 达到 0.953–0.888，在测试集的 WiderFace 上达到 0.946–0.885，MAFA 遮挡子集 mAP 为 88.3。