[论文解读] ASFD: Automatic and Scalable Face Detector

Jian Li, Bin Zhang+7 more|arXiv (Cornell University)|Jan 26, 2022

Face recognition and analysis参考文献 55被引用 14

一句话总结

本文提出 ASFD，一种自动且可扩展的人脸检测器，利用可微神经架构搜索发现针对人脸检测定制的领域特定特征聚合与增强（AutoFAE）模块。通过解决通用目标检测与人脸检测之间的领域差异，ASFD 实现了最先进的性能-效率权衡，在 WIDER Face 测试集上达到 96.7/96.2/92.1 AP，且 ASFD-D0 在 V100 GPU 上推理速度超过 320 FPS，推理延迟仅为 3.1ms。

ABSTRACT

Along with current multi-scale based detectors, Feature Aggregation and Enhancement (FAE) modules have shown superior performance gains for cutting-edge object detection. However, these hand-crafted FAE modules show inconsistent improvements on face detection, which is mainly due to the significant distribution difference between its training and applying corpus, COCO vs. WIDER Face. To tackle this problem, we essentially analyse the effect of data distribution, and consequently propose to search an effective FAE architecture, termed AutoFAE by a differentiable architecture search, which outperforms all existing FAE modules in face detection with a considerable margin. Upon the found AutoFAE and existing backbones, a supernet is further built and trained, which automatically obtains a family of detectors under the different complexity constraints. Extensive experiments conducted on popular benchmarks, WIDER Face and FDDB, demonstrate the state-of-the-art performance-efficiency trade-off for the proposed automatic and scalable face detector (ASFD) family. In particular, our strong ASFD-D6 outperforms the best competitor with AP 96.7/96.2/92.1 on WIDER Face test, and the lightweight ASFD-D0 costs about 3.1 ms, more than 320 FPS, on the V100 GPU with VGA-resolution images.

研究动机与目标

• 解决现有手工设计的特征聚合与增强（FAE）模块在应用于人脸检测时因领域分布差异导致的性能下降问题。
• 设计一个专为人脸检测量身定制的搜索空间与搜索策略，以应对小尺度和密集人脸的挑战。
• 通过可微架构搜索自动发现最优 FAE 架构（AutoFAE），使其在人脸检测领域超越现有模块。
• 基于 AutoFAE 和 ResNet 主干网络构建一个超网络，以实现针对不同效率约束的自动模型缩放。
• 在多个面部检测基准上实现新的性能-效率权衡的最先进水平。

提出的方法

• 提出一种面向领域的 FAE 模块搜索空间，聚焦于跨尺度和同尺度连接，以应对小尺度和密集人脸问题。
• 在可微架构搜索中应用两阶段优化，以发现 AutoFAE，该模块学习稀疏的自顶向下连接以及在特征金字塔各层中的自适应操作。
• 将 AutoFAE 集成到与 ResNet 主干网络结合的超网络中，并使用遗传算法在延迟约束下搜索单路径架构。
• 使用多尺度推理和标准基于锚点的头与多任务损失训练超网络及其衍生模型。
• 在 RetinaNet、FCOS 和 Faster R-CNN 中用 AutoFAE 替换标准 FPN，以评估其在 COCO 上的泛化能力。
• 使用累积分布函数分析 COCO 与 WIDER Face 之间的数据分布差异，从而证明为领域定制 FAE 设计的必要性。

实验结果

研究问题

• RQ1 为何现有手工设计的 FAE 模块在通用目标检测中表现成功，却在人脸检测中泛化能力差？
• RQ2 如何调整神经架构搜索方法，以发现专门针对人脸检测独特挑战（如小尺度和密集人脸）优化的 FAE 模块？
• RQ3 通过自动搜索得到的 FAE 模块（AutoFAE）是否能在人脸检测中超越手工设计的 FAE 模块，同时保持对通用目标检测的泛化能力？
• RQ4 基于使用 AutoFAE 训练的超网络，在不同硬件约束下进行模型缩放，可实现怎样的性能-效率权衡？
• RQ5 AutoFAE 在人脸检测之外的其他检测器和数据集上具有多大程度的泛化能力？

主要发现

• ASFD-D6 在 WIDER Face 测试集上达到 96.7/96.2/92.1 AP，显著优于所有先前方法。
• ASFD-D0 在 V100 GPU 上实现超过 320 FPS 的推理速度，VGA 分辨率图像下仅 3.1ms 延迟，展现出极高的效率。
• 在 COCO 上，AutoFAE 将 RetinaNet、FCOS 和 Faster R-CNN 的 AP 提升 0.5–1.0 个百分点，证明其在通用目标检测中具有强大泛化能力。
• COCO 与 WIDER Face 之间的性能差距主要源于更小的相对人脸尺度（55% 的人脸 <0.02 尺度）和更高的实例密度（99% 的图像包含 >150 个脸），而现有 FAE 模块无法有效处理这些情况。
• 所发现的 AutoFAE 使用稀疏的自顶向下连接和自适应操作——仅在深层使用空洞卷积——从而更有效地聚合小尺度和遮挡人脸的特征。
• 基于超网络的模型缩放方法在不同延迟约束下生成了 7 种不同的检测器，全部实现了更优的性能-效率权衡。