[论文解读] LFFD: A Light and Fast Face Detector for Edge Devices

Yonghao He, Dezhong Xu+4 more|arXiv (Cornell University)|Apr 24, 2019

CCD and CMOS Imaging Sensors参考文献 41被引用 44

一句话总结

LFFD 是一个无锚、单阶段的人脸检测器，设计用于边缘设备，具备高效的八分支主干，能够在各个平台实现实时性能，同时在 WIDER FACE 和 FDDB 基准测试上提供出色的准确性。

ABSTRACT

Face detection, as a fundamental technology for various applications, is always deployed on edge devices which have limited memory storage and low computing power. This paper introduces a Light and Fast Face Detector (LFFD) for edge devices. The proposed method is anchor-free and belongs to the one-stage category. Specifically, we rethink the importance of receptive field (RF) and effective receptive field (ERF) in the background of face detection. Essentially, the RFs of neurons in a certain layer are distributed regularly in the input image and theses RFs are natural "anchors". Combining RF "anchors" and appropriate RF strides, the proposed method can detect a large range of continuous face scales with 100% coverage in theory. The insightful understanding of relations between ERF and face scales motivates an efficient backbone for one-stage detection. The backbone is characterized by eight detection branches and common layers, resulting in efficient computation. Comprehensive and extensive experiments on popular benchmarks: WIDER FACE and FDDB are conducted. A new evaluation schema is proposed for application-oriented scenarios. Under the new schema, the proposed method can achieve superior accuracy (WIDER FACE Val/Test -- Easy: 0.910/0.896, Medium: 0.881/0.865, Hard: 0.780/0.770; FDDB -- discontinuous: 0.973, continuous: 0.724). Multiple hardware platforms are introduced to evaluate the running efficiency. The proposed method can obtain fast inference speed (NVIDIA TITAN Xp: 131.45 FPS at 640x480; NVIDIA TX2: 136.99 PFS at 160x120; Raspberry Pi 3 Model B+: 8.44 FPS at 160x120) with model size of 9 MB.

研究动机与目标

• 解决在内存和算力受限的设备上进行高效人脸检测的需求。
• 提出一种无锚、单阶段检测器，利用感受野概念覆盖更广的尺度范围。
• 设计一个轻量级主干，具备多检测分支，以优化速度和精度。
• 在标准基准（WIDER FACE、FDDB）及多样化硬件上进行评估，以证明边缘设备的可行性。

提出的方法

• 重新诠释感受野的概念，以形成基于 RF 的规则锚点，而无需预定义锚点。
• 开发一个轻量级的八分支检测主干，采用共用层以减少计算。
• 将 RF 步长与 RF 锚点结合，以在理论上实现广域尺度覆盖。
• 采用无锚、单阶段检测框架，以提高面向边缘设备的效率。
• 在 WIDER FACE 和 FDDB 上使用新的面向应用的评估模式进行评估。

实验结果

研究问题

• RQ1 在标准人脸基准上，无锚、单阶段检测器是否能够在保持边缘设备适用性的同时实现有竞争力的准确性？
• RQ2 感受野与有效感受野的洞见如何为多尺度人脸检测的网络主干和分支设计提供指引？
• RQ3 在不同硬件平台上的模型大小、速度与准确性之间存在哪些权衡，以用于边缘部署。

主要发现

• 在多种设备上实现快速推理速度（例如，在 NVIDIA TITAN Xp 的 640x480 下为 131.45 FPS；在 TX2 的 160x120 下为 136.99 FPS；在 Raspberry Pi 3B+ 的 160x120 下为 8.44 FPS）。
• 模型大小为 9 MB，便于在内存受限的设备上部署。
• 在新评估模式下的 WIDER FACE 准确率：Easy 0.910（Val）/ 0.896（Test），Medium 0.881（Val）/ 0.865（Test），Hard 0.780（Val）/ 0.770（Test）。
• 在新模式下的 FDDB 准确率：discontinuous 0.973，continuous 0.724。
• 该方法通过基于 RF 的锚点概念和八个检测分支实现对脸部尺度的理论覆盖率达到 100%。
• 该方法在保持竞争力的同时，优先考虑边缘设备的可行性。