[논문 리뷰] Face Detection, Bounding Box Aggregation and Pose Estimation for Robust Facial Landmark Localisation in the Wild

Zhenhua Feng, Josef Kittler외 3명|arXiv (Cornell University)|2017. 05. 05.

Face recognition and analysis참고 문헌 54인용 수 6

한 줄 요약

이 논문은 다수의 CNN 기반 얼굴 검출기, 경계 상자 집합, 계단식 형태 회귀를 통한 자세 추정, 정밀한 랜드마크 보정을 조합하여 비제약 환경에서 강력한 얼굴 랜드마크 정렬을 위한 코arse-to-fine 프레임워크를 제안한다. 이 방법은 300W 및 Menpo 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 2회차 얼굴 랜드마크 정렬 경쟁 대회에서 300W 실내+실외 세트에서 정규화된 RMS 오차 2.26을 기록하여 참가자 전원을 압도했다.

ABSTRACT

We present a framework for robust face detection and landmark localisation of faces in the wild, which has been evaluated as part of `the 2nd Facial Landmark Localisation Competition'. The framework has four stages: face detection, bounding box aggregation, pose estimation and landmark localisation. To achieve a high detection rate, we use two publicly available CNN-based face detectors and two proprietary detectors. We aggregate the detected face bounding boxes of each input image to reduce false positives and improve face detection accuracy. A cascaded shape regressor, trained using faces with a variety of pose variations, is then employed for pose estimation and image pre-processing. Last, we train the final cascaded shape regressor for fine-grained landmark localisation, using a large number of training samples with limited pose variations. The experimental results obtained on the 300W and Menpo benchmarks demonstrate the superiority of our framework over state-of-the-art methods.

연구 동기 및 목표

• 자세, 조명, 가림 등 극단적인 변동이 있는 비제약 환경에서 정확한 얼굴 랜드마크 정렬을 해결하는 것.
• 다양한 얼굴 검출기의 출력을 집계하여 검출 신뢰도를 향상시키고, 잘못된 검출(거짓 양성)을 줄이며 검출 일관성을 높이는 것.
• 계단식 형태 회귀 과정을 코어스-투-파인 단계로 분리하고 자세 인식 전처리를 통합하여 랜드마크 정렬 정확도를 향상시키는 것.
• 실제 운영 환경을 시뮬레이션하기 위해 사전 제공된 얼굴 경계 상자를 사용하지 않고도 기준 벤치마크 데이터셋에서 뛰어난 성능을 달성하는 것.
• Menpo 및 300W 벤치마크에서 기존 방법을 능가하는 성능을 내는 것.

제안 방법

• 다양한 초기 얼굴 검출을 향상시키기 위해 공개 및 비공개 총 2개의 CNN 기반 얼굴 검출기를 활용한다.
• 겹치거나 충돌하는 검출 결과를 융합하여 잘못된 검출을 줄이고 정위치 일관성을 향상시키기 위해 경계 상자 집합 전략을 적용한다.
• 다양한 자세 변화에 대응하는 형태 회귀기를 훈련시켜 머리 자세를 추정하고 이미지 전처리를 수행하여 랜드마크 초기화를 향상시킨다.
• 자세 변화가 제한된 데이터로 훈련된 두 번째 계단식 형태 회귀기를 사용하여 정밀한 랜드마크 정렬을 수행한다. 이는 고정밀도 보정을 가능하게 한다.
• 추론 중에 이미지 변환(회전/뒤집기)을 적용하여 얼굴을 표준 자세로 정렬함으로써 회귀 정확도를 향상시킨다.
• 형태 회귀 구성 요소에 대해 VLFeat 툴박스를 통해 HOG 및 LBP 특징을 추출한다.

실험 결과

연구 질문

• RQ1 여러 얼굴 검출기의 조합과 그 경계 상자 집합 전략이 비제약 환경에서 얼굴 검출 정확도를 크게 향상시킬 수 있는가?
• RQ2 계단식 형태 회귀를 통한 자세 추정이 후속 랜드마크 정렬의 강건성과 정확도를 향상시키는가?
• RQ3 계단식 형태 회귀를 코어스-투-파인 단계로 분리하면, 특히 자세 변화가 있는 상황에서 랜드마크 정렬 정밀도가 향상되는가?
• RQ4 표준 기준 벤치마크인 300W 및 Menpo에서 제안된 프레임워크는 최신 기술 수준의 방법과 비교해 어떻게 성능을 내는가?
• RQ5 Menpo 벤치마크에서 사전 제공된 경계 상자가 없는 상황이 성능에 어떤 영향을 미치며, 이 프레임워크는 이를 효과적으로 보완할 수 있는가?

주요 결과

• 제안된 프레임워크는 300W 실내+실외 테스트 세트에서 정규화된 RMS 오차 2.26을 기록하여 2회차 얼굴 랜드마크 정렬 경쟁 대회 참가자 전원을 능가했다.
• Menpo 벤치마크에서 기준 방법인 Viola-Jones + APS에 비해 뚜렷한 성능 향상을 보였으며, 특히 반면상 및 측면 얼굴 변형 처리에서 두각을 나타냈다.
• 다양한 얼굴 검출기와 경계 상자 집합 전략의 사용으로 잘못된 검출이 감소하고 다양한 테스트 이미지에서 검출 일관성이 향상되었다.
• 계단식 회귀를 통한 자세 추정이 효과적인 전처리를 가능하게 하여 랜드마크 초기화 및 전체 정확도 향상에 기여했다.
• 특히 자세에 맞는 보정을 포함한 코어스-투-파인 계단식 형태 회귀 전략이 뛰어난 랜드마크 정렬 정밀도를 이끌어냈다.
• 300W 및 Menpo 벤치마크에서 모두 강력한 일반화 성능을 보였으며, 이는 실제 비제약 환경에서의 강건성을 확인시켰다.