[논문 리뷰] SFace: An Efficient Network for Face Detection in Large Scale Variations

Jianfeng Wang, Ye Yuan외 3명|arXiv (Cornell University)|2018. 04. 18.

Face recognition and analysis참고 문헌 29인용 수 20

한 줄 요약

SFace는 고해상도 이미지에서 극단적인 스케일 변동을 다루기 위해 앵커 기반 및 앵커리스 방법을 효율적으로 융합하는 하이브리드 얼굴 검출 네트워크를 제안한다. RetinaNet 스타일의 로컬라이제이션과 UnitBox 스타일의 회귀를 통합하고 IOU 기반 재순위 매기기 메커니즘을 도입함으로써, SFace는 약 50 FPS에서 WIDER FACE에서 80.7% AP를 달성하여 최신 기술 대비 빠른 속도를 유지하면서도 경쟁력 있는 정확도를 확보한다.

ABSTRACT

Face detection serves as a fundamental research topic for many applications like face recognition. Impressive progress has been made especially with the recent development of convolutional neural networks. However, the issue of large scale variations, which widely exists in high resolution images/videos, has not been well addressed in the literature. In this paper, we present a novel algorithm called SFace, which efficiently integrates the anchor-based method and anchor-free method to address the scale issues. A new dataset called 4K-Face is also introduced to evaluate the performance of face detection with extreme large scale variations. The SFace architecture shows promising results on the new 4K-Face benchmarks. In addition, our method can run at 50 frames per second (fps) with an accuracy of 80% AP on the standard WIDER FACE dataset, which outperforms the state-of-art algorithms by almost one order of magnitude in speed while achieves comparative performance.

연구 동기 및 목표

• 고해상도 이미지, 특히 4K 초고화질 콘텐츠에서 얼굴 검출의 극단적인 스케일 변동 문제를 해결한다.
• 극단적인 스케일 범위에서 어려움을 겪고, 작업에 맞는 앵커 설계가 필요한 전통적 앵커 기반 방법의 한계를 극복한다.
• 일반적으로 정밀한 로컬라이제이션 능력이 떨어지는 앵커리스 방법의 단점을 보완하기 위해, 앵커 기반 검출기의 장점을 앵커리스 방법과 융합한다.
• 고해상도 환경에서 극단적인 스케일 변동을 체계적으로 평가하기 위해 새로운 벤치마크인 4K-Face를 도입한다.
• 표준 및 새로운 벤치마크에서 높은 정확도를 유지하면서도 실시간 추론 속도(50+ FPS)를 달성한다.

제안 방법

• 이중 브랜치 아키텍처 설계: 한 브랜치는 RetinaNet를 영감으로 받아 중간에서 큰 스케일(32×32에서 512×512)에 대해 정확한 로컬라이제이션을 수행하는 앵커 기반 검출을 사용하고, 다른 브랜치는 UnitBox를 영감으로 받아 임의의 크기의 얼굴을 암묵적으로 검출하는 앵커리스 검출을 사용한다.
• 두 브랜치에서 유도된 신뢰도 점수를 통합하기 위해 새로운 IOU 기반 재순위 매기기 전략을 적용하여 예측의 효과적이고 안정적인 융합을 가능하게 한다.
• 다중 스케일 특징을 처리하기 위해 P3, P4, P5 레이어를 포함한 특징 피라미드 네트워크(FPN)를 사용하며, 최적 성능을 위해 앵커 스케일을 조정한다.
• WIDER FACE 데이터셋에서 엔드 투 엔드로 모델을 훈련하고, WIDER FACE와 새로 도입된 4K-Face 벤치마크에서 평가한다.
• 경량 백본 네트워크를 사용하여 추론 속도를 최적화하여 1080p 및 4K 입력에서 실시간 성능을 달성한다.
• 다양한 입력 해상도에서 검출 정확도를 유지하기 위해 입력 리사이징을 포함한 다중 해상도 추론 전략을 구현한다.

실험 결과

연구 질문

• RQ1 앵커 기반 및 앵커리스 검출을 융합한 하이브리드 아키텍처가 얼굴 검출의 극단적인 스케일 변동에서 성능 향상에 기여하는가?
• RQ2 IOU 기반 재순위 매기기 메커니즘이 두 개의 서로 다른 검출 브랜치에서 유도된 신뢰도 점수를 통합하는 데 얼마나 효과적인가?
• RQ3 경량형 실시간 얼굴 검출기가 극단적인 스케일 변동이 있는 고해상도 이미지에서 높은 정확도를 얼마나 오랫동안 유지할 수 있는가?
• RQ4 제안된 SFace 모델은 최신 기술 대비 속도, 정확도, 스케일 범위에 대한 강건성 측면에서 어떻게 비교되는가?
• RQ5 새로운 벤치마크(4K-Face) 도입이 초고해상도 환경에서 얼굴 검출기 평가에 어떤 영향을 미치는가?

주요 결과

• SFace는 WIDER FACE 하드 세트에서 80.7% AP를 달성하여 RetinaNet(65.0%)과 UnitBox(67.8%)보다 약 10个百分点 높은 평균 AP를 기록한다.
• 새로 도입된 4K-Face 벤치마크에서 SFace는 65.39% AP를 기록하여 RetinaNet(53.34%)과 UnitBox(63.82%)를 크게 앞서며 뛰어난 성능을 보였다.
• IOU 기반 재순위 매기기 전략은 WIDER FACE에서 AP를 73.8%에서 80.7%로 향상시켜 이중 브랜치 출력을 융합하는 데 효과적임을 입증했다.
• SFace는 WIDER FACE 데이터셋에서 약 50 FPS로 실행되어 최신 기술 대비 10배 빠른 속도를 기록하면서도 경쟁력 있는 정확도를 유지한다.
• 1080p 이미지에서는 약 80 FPS의 추론 속도를 기록하고, 2160p(4K) 이미지에서는 약 41ms(24 FPS)로 실시간 동영상 처리에 적합한 성능을 보였다.
• 제거 분석 결과, 앵커 기반 및 앵커리스 브랜치를 모두 결합하고 재순위 매기기를 적용할 경우 가장 높은 성능을 기록하여 상보적인 설계의 타당성을 입증했다.