[논문 리뷰] LFFD: A Light and Fast Face Detector for Edge Devices

Yonghao He, Dezhong Xu외 4명|arXiv (Cornell University)|2019. 04. 24.

CCD and CMOS Imaging Sensors참고 문헌 41인용 수 44

한 줄 요약

LFFD는 에지 디바이스용으로 설계된 앵커 프리, 단일 스테이지 얼굴 탐지기이며, 실시간 성능을 다양한 플랫폼에서 달성하는 효율적인 여덟-브랜치 백본과 함께 WIDER FACE 및 FDDB 벤치마크에서 강한 정확도를 제공합니다.

ABSTRACT

Face detection, as a fundamental technology for various applications, is always deployed on edge devices which have limited memory storage and low computing power. This paper introduces a Light and Fast Face Detector (LFFD) for edge devices. The proposed method is anchor-free and belongs to the one-stage category. Specifically, we rethink the importance of receptive field (RF) and effective receptive field (ERF) in the background of face detection. Essentially, the RFs of neurons in a certain layer are distributed regularly in the input image and theses RFs are natural "anchors". Combining RF "anchors" and appropriate RF strides, the proposed method can detect a large range of continuous face scales with 100% coverage in theory. The insightful understanding of relations between ERF and face scales motivates an efficient backbone for one-stage detection. The backbone is characterized by eight detection branches and common layers, resulting in efficient computation. Comprehensive and extensive experiments on popular benchmarks: WIDER FACE and FDDB are conducted. A new evaluation schema is proposed for application-oriented scenarios. Under the new schema, the proposed method can achieve superior accuracy (WIDER FACE Val/Test -- Easy: 0.910/0.896, Medium: 0.881/0.865, Hard: 0.780/0.770; FDDB -- discontinuous: 0.973, continuous: 0.724). Multiple hardware platforms are introduced to evaluate the running efficiency. The proposed method can obtain fast inference speed (NVIDIA TITAN Xp: 131.45 FPS at 640x480; NVIDIA TX2: 136.99 PFS at 160x120; Raspberry Pi 3 Model B+: 8.44 FPS at 160x120) with model size of 9 MB.

연구 동기 및 목표

• 메모리와 계산 성능이 제한된 장치에서 효과적인 얼굴 탐지를 위한 필요성을 해결한다.
• 수용 필드 개념을 활용하여 광범위한 스케일 범위를 커버하는 앵커 프리, 단일 스테이지 탐지기를 제안한다.
• 속도와 정확도를 최적화하기 위해 다중 탐지 브랜치를 갖는 경량 백본을 설계한다.
• 표준 벤치마크(WIDER FACE, FDDB)와 다양한 하드웨어에서 평가하여 엣지 디바이스의 실현 가능성을 보여준다.

제안 방법

• 정해진 앵커 없이 규칙적인 RF 기반 앵커를 형성하기 위해 수용영역 개념을 재해석한다.
• 계산량을 줄이기 위해 공통 계층을 갖춘 경량의 여덟-브랜치 탐지 백본을 개발한다.
• RF 스트라이드를 RF 앵커와 통합하여 이론적으로 광범위한 스케일 커버리지를 달성한다.
• 엣지 디바이스에 적합한 효율성을 위해 앵커 프리의 단일 스테이지 탐지 프레임워크를 채택한다.
• 새로운 애플리케이션 지향 평가 스키마로 WIDER FACE 및 FDDB를 평가한다.

실험 결과

연구 질문

• RQ1 앵커 프리의 단일 스테이지 탐지기가 엣지 디바이스에 적합하면서 표준 얼굴 벤치마크에서도 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ2 수용 필드와 유효 수용 필드의 통찰이 다중 스케일 얼굴 탐지를 위한 네트워크 백본 및 브랜치 설계를 어떻게 안내하는가?
• RQ3 엣지 배치를 위한 서로 다른 하드웨어 플랫폼 간 모델 크기, 속도, 정확도 간의 트레이드오프는 무엇인가?

주요 결과

• 다수의 기기에서 빠른 추론 속도를 달성(예: 640x480에서 NVIDIA TITAN Xp 131.45 FPS; 160x120에서 TX2 136.99 FPS; 160x120에서 Raspberry Pi 3B+ 8.44 FPS).
• 모델 크기는 9 MB로, 메모리 제약이 있는 기기에서의 배포를 가능하게 한다.
• 새 평가 스키마 하의 WIDER FACE 정확도: Easy 0.910 (Val) / 0.896 (Test), Medium 0.881 (Val) / 0.865 (Test), Hard 0.780 (Val) / 0.770 (Test).
• 새 스키마에서 FDDB 정확도: discontinuous 0.973, continuous 0.724.
• RF 기반 앵커 개념과 여덟 개의 탐지 브랜치를 통해 얼굴 스케일을 이론적으로 100% 커버링한다.
• 이 방법은 엣지 디바이스 실현 가능성을 우선시하면서 경쟁력 있는 성능을 보여준다.