[论文解读] CenterFace: Joint Face Detection and Alignment Using Face as Point

Yuanyuan Xu, Yan Wan+3 more|arXiv (Cornell University)|Nov 9, 2019

Advanced Image and Video Retrieval Techniques参考文献 38被引用 14

一句话总结

CenterFace 提出了一种单阶段、无锚点的方法，通过人脸的单点表示实现联合的人脸检测与关键点对齐。它通过语义热图预测人脸存在性、边界框、偏移量以及五个面部关键点，实现实时推理（在 NVIDIA 2080Ti 上达到 200 FPS），并在 WIDER FACE（Easy/Test 上分别为 0.935/0.932）和 FDDB（0.980 不连续）上达到最先进精度。

ABSTRACT

Face detection and alignment in unconstrained environment is always deployed on edge devices which have limited memory storage and low computing power. This paper proposes a one-stage method named CenterFace to simultaneously predict facial box and landmark location with real-time speed and high accuracy. The proposed method also belongs to the anchor free category. This is achieved by: (a) learning face existing possibility by the semantic maps, (b) learning bounding box, offsets and five landmarks for each position that potentially contains a face. Specifically, the method can run in real-time on a single CPU core and 200 FPS using NVIDIA 2080TI for VGA-resolution images, and can simultaneously achieve superior accuracy (WIDER FACE Val/Test-Easy: 0.935/0.932, Medium: 0.924/0.921, Hard: 0.875/0.873 and FDDB discontinuous: 0.980, continuous: 0.732). A demo of CenterFace can be available at https://github.com/Star-Clouds/CenterFace.

研究动机与目标

• 解决在资源受限的边缘设备上，在非约束环境下部署高精度人脸检测与对齐的挑战。
• 通过提出一种无锚点的替代方案，克服基于锚点方法的局限性，以提升效率与精度。
• 在一次前向传播中同时预测人脸边界框与五个面部关键点位置。
• 在保持高精度的同时实现实时推理速度，适用于 WIDER FACE 和 FDDB 等基准数据集。
• 实现在低功耗设备（如仅 CPU）上的部署，内存与计算开销极低。

提出的方法

• 在特征图中将每个人脸表示为单个关键点（中心点），相比基于锚点的方法降低复杂度。
• 使用编码每个空间位置存在人脸可能性的语义热图，预测人脸存在概率。
• 通过回归头从中心点直接回归边界框偏移量与五个面部关键点坐标。
• 采用单阶段检测器架构，在一次前向传播中联合回归人脸位置与关键点。
• 利用特征金字塔网络处理多尺度人脸，提升检测鲁棒性。
• 端到端训练模型，损失函数结合分类损失、边界框回归损失与关键点回归损失。

实验结果

研究问题

• RQ1 单阶段、无锚点方法是否能在保持实时推理速度的同时实现高精度的人脸检测与对齐？
• RQ2 将人脸表示为单一点（中心点）在简化检测与对齐任务方面有多有效？
• RQ3 所提方法在标准基准上相较于现有基于锚点与无锚点的人脸检测器，优势程度如何？
• RQ4 该模型是否能在仅 CPU 或低功耗边缘设备上高效运行并保持高精度？
• RQ5 联合预测边界框与面部关键点与分离的检测与对齐流水线相比，表现如何？

主要发现

• CenterFace 在 WIDER FACE 验证集与测试-Easy 集上分别达到 0.935 与 0.932 的平均精度，优于先前最先进方法。
• 在更具挑战性的 WIDER FACE Medium 与 Hard 集上，分别取得 0.924 与 0.921 mAP，展现出强大的泛化能力。
• 在 FDDB 上，其不连续人脸 mAP 达到 0.980，连续人脸为 0.732，表明在复杂、杂乱场景中表现优异。
• 在单张 NVIDIA 2080Ti GPU 上，对 VGA 分辨率图像实现 200 FPS 推理速度，支持实时处理。
• 在单核 CPU 上实现实时性能，适用于边缘设备部署。
• 无锚点设计简化了训练与推理过程，同时保持高精度，验证了中心点表示的有效性。