[논문 리뷰] Face R-CNN

Hao Wang, Zhifeng Li외 2명|arXiv (Cornell University)|2017. 06. 04.

Face recognition and analysis참고 문헌 31인용 수 44

한 줄 요약

이 논문은 새로운 다중 작업 손실 설계, 온라인 하드 예외 샘플 마이닝, 다중 스케일 훈련을 통해 Faster R-CNN 기반의 강력한 얼굴 검출 방법인 Face R-CNN을 제안한다. FDDB 및 WIDER FACE 벤치마크에서 평가된 결과, Face R-CNN는 기존 방법보다 뚜렷한 향상을 보이며 얼굴 검출 분야에서 최신 기술 수준에 도달했다.

ABSTRACT

Faster R-CNN is one of the most representative and successful methods for object detection, and has been becoming increasingly popular in various objection detection applications. In this report, we propose a robust deep face detection approach based on Faster R-CNN. In our approach, we exploit several new techniques including new multi-task loss function design, online hard example mining, and multi-scale training strategy to improve Faster R-CNN in multiple aspects. The proposed approach is well suited for face detection, so we call it Face R-CNN. Extensive experiments are conducted on two most popular and challenging face detection benchmarks, FDDB and WIDER FACE, to demonstrate the superiority of the proposed approach over state-of-the-arts.

연구 동기 및 목표

• 기존 객체 검출 방법이 얼굴 검출의 고유한 과제, 예를 들어 작은 객체 크기와 외관의 높은 변동성에 대응하는 데에 한계가 있음을 해결하기 위해.
• 특정 얼굴 검출에 적합한 아키텍처 및 훈련 향상 기법을 도입하여 Faster R-CNN의 성능을 향상시키기 위해.
• 고도화된 훈련 전략을 통해 얼굴 크기, 자세 및 가림 정도의 변동성에 강건한 방법을 개발하기 위해.
• 광범위하게 사용되는 FDDB 및 WIDER FACE 데이터셋을 활용하여 얼굴 검출 분야의 새로운 최신 기술 수준 기준을 설정하기 위해.

제안 방법

• 지역 제안 및 분류를 동시에 최적화할 수 있도록 새로운 다중 작업 손실 함수를 설계하여 얼굴에 대한 특징 학습을 향상시켰다.
• 어려운 양성 및 부정성 샘플에 동적으로 집중할 수 있도록 온라인 하드 예외 샘플 마이닝을 적용하여 모델의 일반화 능력을 향상시켰다.
• 추론 시 얼굴 크기 및 스케일의 변동성에 대응하기 위해 강건성을 향상시키기 위해 다중 스케일 훈련 전략을 도입했다.
• 이 방법은 Faster R-CNN의 이단계 검출 프레임워크를 기반으로 하되, 도메인 특화된 수정 사항을 통해 얼굴 검출에 특화된 방식으로 변형하였다.
• 검출 정확도 및 정렬 정확도를 최적화하기 위해 제안된 손실 함수 및 훈련 전략을 기반으로 엔드 투 엔드로 모델을 훈련시켰다.

실험 결과

연구 질문

• RQ1 Faster R-CNN을 얼굴 검출의 특정 과제에 효과적으로 적응시키는 방법은 무엇인가?
• RQ2 얼굴 검출에서 지역 제안과 분류의 공동 최적화를 향상시키는 데 어떤 손실 함수 설계가 유리한가?
• RQ3 온라인 하드 예외 샘플 마이닝은 어려운 얼굴 샘플 검출 성능을 어떻게 향상시키는가?
• RQ4 다중 스케일 훈련은 얼굴 검출에서 스케일 변동성에 대응하는 데 얼마나 기여하는가?

주요 결과

• Face R-CNN는 FDDB 벤치마크에서 최신 기술 수준의 성능을 달성하여 이전 방법 대비 검출 정확도에서 뛰어난 성과를 보였다.
• WIDER FACE 데이터셋에서 제안된 방법은 가림 및 작은 얼굴이 포함된 어려운 시나리오를 포함한 다양한 평가 프로토콜에서 뛰어난 성능을 보였다.
• 온라인 하드 예외 샘플 마이닝의 통합은 어려운 부정성 샘플 검출에 있어 측정 가능한 향상을 이끌었다.
• 다중 스케일 훈련 전략은 스케일 변동성에 대한 모델의 강건성을 크게 향상시켰으며, 특히 작은 얼굴 검출 성능 향상에 기여했다.