[논문 리뷰] WIDER FACE: A Face Detection Benchmark

Shuo Yang, Ping Luo외 2명|arXiv (Cornell University)|2015. 11. 20.

Face recognition and analysis참고 문헌 39인용 수 66

한 줄 요약

이 논문은 32,203장의 이미지에 걸쳐 총 393,703개의 얼굴을 포함하며, 척도, 자세, 가림, 조명 등 극단적인 변형을 특징으로 하는 대규모 얼굴 검출 기준점인 WIDER FACE를 소개한다. 깊이 신경망을 활용한 다중 척도 이중 단계 캐스케이드 프레임워크를 제안하여 척도 변동성을 효과적으로 다루며, 최신 기술 수준의 성능을 달성하고 실제 환경에서 기존 검출기의 실패 원인을 드러낸다.

ABSTRACT

Face detection is one of the most studied topics in the computer vision community. Much of the progresses have been made by the availability of face detection benchmark datasets. We show that there is a gap between current face detection performance and the real world requirements. To facilitate future face detection research, we introduce the WIDER FACE dataset, which is 10 times larger than existing datasets. The dataset contains rich annotations, including occlusions, poses, event categories, and face bounding boxes. Faces in the proposed dataset are extremely challenging due to large variations in scale, pose and occlusion, as shown in Fig. 1. Furthermore, we show that WIDER FACE dataset is an effective training source for face detection. We benchmark several representative detection systems, providing an overview of state-of-the-art performance and propose a solution to deal with large scale variation. Finally, we discuss common failure cases that worth to be further investigated. Dataset can be downloaded at: mmlab.ie.cuhk.edu.hk/projects/WIDERFace

연구 동기 및 목표

• 부적절하게 도전적이지 않은 데이터셋으로 인해 현재의 얼굴 검출 성능와 실세계 요구사항 사이의 격차를 해소하기 위해.
• 제약 조건이 없는 조건에서 얼굴 검출 분야의 진전을 이끌기 위해 대규모이고 다양한 기준점을 제공하기 위해.
• 가림, 자세, 사건 카테고리, 바운딩 박스 등 풍부한 애너테이션을 통해 알고리즘 실패 원인을 심층적으로 분석할 수 있도록 하기 위해.
• 극단적인 척도 변동성을 다룰 수 있는 다중 척도 검출 프레임워크를 개발하고 평가하기 위해.
• 최신 기술 수준의 검출기를 새로운 데이터셋에서 평가하여 지속적인 실패 케이스를 특정하고 향후 연구를 이끌기 위해.

제안 방법

• 기존 데이터셋보다 10배 큰 32,203장의 이미지와 393,703개의 애너테이션된 얼굴을 포함하는 WIDER FACE 데이터셋을 구축한다.
• 각 얼굴에 대해 바운딩 박스, 가림 수준, 자세 각도, 그리고 이벤트 카테고리(예: 파레드, 교통, 콘cert)를 애너테이션한다.
• 다중 척도 이중 단계 캐스케이드 프레임워크를 제안한다: 먼저 다중 입력 척도 네트워크를 사용해 얼굴 후보를 생성하고, 이후 분류 및 회귀를 통해 검출를 정밀화한다.
• 교차 엔트로피 손실과 유클리드 손실을 함께 사용해 종합적인 분류 및 바운딩 박스 회귀를 위한 엔드 투 엔드로 풀 컨볼루션 신경망을 훈련한다.
• IoU > 0.5 및 중심 거리 매칭을 사용해 후보 영역을 정답 바운딩 박스에 할당하여 양성/음성 샘플링을 수행한다.
• 양성 샘플 수가 총 샘플 수의 10% 미만일 경우, 정답 얼굴를 무작위로 자르는 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 실세계 이미지에 존재하는 극단적인 척도, 자세, 가림 변형 상황에서 최신 기술 수준의 얼굴 검출기 성능가 어떻게 저하되는가?
• RQ2 단일 척도 모델에 비해 다중 척도 이중 단계 캐스케이드 프레임워크가 얼굴 검출에서 큰 척도 변동성을 효과적으로 다룰 수 있는가?
• RQ3 WIDER FACE와 같이 매우 다양한 기준점을 사용해 평가할 때 현재의 얼굴 검출기에서 가장 흔한 실패 케이스는 무엇인가?
• RQ4 WIDER FACE 데이터셋에서의 훈련이 딥 러닝 기반 얼굴 검출기의 일반화 능력과 견고성에 어느 정도 향상되는가?
• RQ5 다양한 이벤트 카테고리(예: 교통, 파레드, 스포츠)는 검출 정확도에 어떤 영향을 미치며, 어떤 것이 가장 도전적인가?

주요 결과

• WIDER FACE 데이터셋은 32,203장의 이미지에 걸쳐 총 393,703개의 얼굴을 포함하며, 다음으로 큰 얼굴 검출 데이터셋보다 10배 이상 크다.
• 제안된 다중 척도 이중 단계 캐스케이드 프레임워크는 WIDER FACE 기준점에서 최신 기술 수준의 성능을 달성했으며, 특히 작은 얼굴과 큰 얼굴의 검출 성능 향상에 기여했다.
• 가림과 극단적인 자세가 가장 도전적인 요소이며, 특히 '폭동', '장례식'과 같은 어려운 20개 이벤트 카테고리에서 검출률이 크게 떨어졌다.
• 기준점은 기존 검출기가 표준 기준점에서 높은 성능을 보일지라도, 작은 얼굴(20x20 픽셀 이하)과 심하게 가려진 얼굴에서는 실패하는 것을 드러냈다.
• 배경 혼잡도가 높고 복잡한 자세를 가진 '파레드', '교통', '스포츠 팬' 등의 이벤트 카테고리는 검출률이 낮았다.
• 정답 얼굴를 무작위로 자르는 데이터 증강 기법을 사용함으로써 훈련 안정성과 양성 샘플의 균형을 향상시켜, 특히 양성 샘플 수가 적은 영역에서 유의미한 개선 효과를 보였다.