[논문 리뷰] Face Detection with Feature Pyramids and Landmarks

Samuel W. F. Earp, Pavit Noinongyao외 2명|arXiv (Cornell University)|2019. 12. 02.

Face recognition and analysis참고 문헌 69인용 수 9

한 줄 요약

이 논문은 특징 피라미드와 얼굴 랜드마크 회귀를 갖춘 단일 단계 RCNN 기반의 얼굴 검출 시스템을 제안한다. MobileNetV2와 ResNet 백본을 사용하여 WIDER FACE에서만 훈련하며, 실시간 추론과 높은 정확도의 랜드마크 성능을 달성한다. 또한, 무작위 초기화의 영향으로 인해 컨텍스트 모듈 아키텍처 선택이 성능에 미치는 영향은 미미하다는 것을 보여준다. (WIDER FACE 하드 세트에서 91.7% AP의 거의 최신 기술 수준의 정확도 달성)

ABSTRACT

Accurate face detection and facial landmark localization are crucial to any face recognition system. We present a series of three single-stage RCNNs with different sized backbones (MobileNetV2-25, MobileNetV2-100, and ResNet101) and a six-layer feature pyramid trained exclusively on the WIDER FACE dataset. We compare the face detection and landmark accuracies using eight context module architectures, four proposed by previous research and four modified versions. We find no evidence that any of the proposed architectures significantly overperform and postulate that the random initialization of the additional layers is at least of equal importance. To show this we present a model that achieves near state-of-the-art performance on WIDER FACE and also provides high accuracy landmarks with a simple context module. We also present results using MobileNetV2 backbones, which achieve over 90% average precision on the WIDER FACE hard validation set while being able to run in real-time. By comparing to other authors, we show that our models exceed the state-of-the-art for similar-sized RCNNs and match the performance of much heavier networks.

연구 동기 및 목표

• 실시간으로 정확도가 높은 얼굴 검출 시스템과 통합된 얼굴 랜드마크 위치 추정 기능을 개발한다.
• 다양한 컨텍스트 모듈 아키텍처가 얼굴 검출 및 랜드마크 정확도에 미치는 영향을 평가한다.
• 컨텍스트 모듈의 아키텍처 설계가 성능에 상당한 영향을 미치는지, 아니면 무작위 초기화가 지배적인지 확인한다.
• 경량이고 효율적인 모델을 사용하여 WIDER FACE에서 최신 기술 수준 또는 거의 최신 기술 수준의 성능을 달성한다.
• 최적화된 백본을 갖춘 더 작은 모델이 정확도와 속도 면에서 더 큰, 무거운 네트워크를 능가할 수 있음을 보여준다.

제안 방법

• 모델는 입력 이미지에서 다중 척도 특징을 추출하기 위해 여섯 단계의 특징 피라미드를 갖춘 단일 단계 RCNN을 사용한다.
• 정확도와 추론 속도의 균형을 맞추기 위해 세 가지 백본 네트워크—MobileNetV2-25, MobileNetV2-100, ResNet101—를 사용한다.
• 8종의 컨텍스트 모듈 아키텍처를 평가한다: 이전 연구에서 제안된 4종과 수정된 4종으로, 모두 특징 피라미드에 추가된다.
• 얼굴 랜드마크 예측은 WIDER FACE 데이터셋에서 검출 헤드와 함께 엔드 투 엔드로 훈련된 헤드 브랜치를 사용하여 수행된다.
• 다양한 하드웨어(CPU, GPU, 임베디드, 모바일)에서 CUDA 가속을 활용하여 TVM과 MxNet를 사용해 추론 속도를 최적화한다.
• 모델는 데이터 증강이나 전이 학습 없이 WIDER FACE 데이터셋에서만 훈련된다.

실험 결과

연구 질문

• RQ1 컨텍스트 모듈 아키텍처의 선택이 얼굴 검출 또는 랜드마크 위치 추정 성능에 상당한 영향을 미치는가?
• RQ2 경량적인 MobileNetV2 기반 모델이 WIDER FACE 하드 세트에서 최신 기술 수준의 성능을 달성하면서도 실시간으로 작동할 수 있는가?
• RQ3 특징 피라미드 및 컨텍스트 모듈에 추가된 레이어의 무작위 초기화가 모델 성능에 얼마나 큰 영향을 미치는가?
• RQ4 랜드마크 회귀 통합이 검출 정확도와 모델 효율성에 어떤 영향을 미치는가?
• RQ5 적절한 백본 선택과 함께 간단한 컨텍스트 모듈 아키텍처가 더 복잡한 아키텍처를 능가할 수 있는가?

주요 결과

• ResNet101 백본을 사용할 경우 WIDER FACE 하드 검증 세트에서 91.7% 평균 정밀도를 달성하여 최신 기술 수준에 근접한 성능을 보였다.
• MobileNetV2-100 모델은 WIDER FACE 하드 세트에서 90% 이상의 평균 정밀도를 확보하면서도 모바일 및 임베디드 장치에서 실시간으로 작동한다.
• 8종의 컨텍스트 모듈 아키텍처 간에 유의미한 성능 차이가 없었으며, 이는 무작위 초기화가 아키텍처 설계보다 더 큰 영향을 미친다는 것을 시사한다.
• 더 큰 백본(예: ResNet152)은 더 작은 백본보다 랜드마크 mAE가 낮게 나타났다(0.87 ± 0.67 × 10⁻², AFLW에서), 이는 모델 크기와 랜드마크 정확도 사이에 강한 상관관계가 있음을 나타낸다.
• 가장 작은 모델(MobileNetV2-25)은 AFW에서 1.06 ± 1.11 × 10⁻² mAE, AFLW에서 1.80 ± 2.39 × 10⁻² mAE를 기록하여 MTCNN(3.64 ± 2.23 × 10⁻²)보다 AFLW에서 더 높은 성능을 보였다.
• VGA 입력에서 EXTD보다 34–41ms 빠르게 작동하고, 더 느린 GPU에서 RefineFace보다 6ms 빠르며, 정확도는 유사하거나 이를 초월한다.