[논문 리뷰] Facial Feature Point Detection: A Comprehensive Survey

Nannan Wang, Xinbo Gao외 2명|arXiv (Cornell University)|2014. 10. 04.

Face recognition and analysis참고 문헌 13인용 수 48

한 줄 요약

이 종합적 서베이는 얼굴 특징점 검출 방법을 제약 있는 국소 모델(CL M)-기반, 활성 어파랑 모델(AAM)-기반, 회귀 기반, 기타 방법으로 분류하여 검토한다. 이는 계단식 회귀 기반 접근 방식이 최첨단 성능을 달성하고 있음을 강조하며, 가림, 큰 자세 변화, 비면대칭 얼굴 처리에 있어 여전히 도전 과제가 존재함을 시사한다.

ABSTRACT

This paper presents a comprehensive survey of facial feature point detection with the assistance of abundant manually labeled images. Facial feature point detection favors many applications such as face recognition, animation, tracking, hallucination, expression analysis and 3D face modeling. Existing methods can be categorized into the following four groups: constrained local model (CLM)-based, active appearance model (AAM)-based, regression-based, and other methods. CLM-based methods consist of a shape model and a number of local experts, each of which is utilized to detect a facial feature point. AAM-based methods fit a shape model to an image by minimizing texture synthesis errors. Regression-based methods directly learn a mapping function from facial image appearance to facial feature points. Besides the above three major categories of methods, there are also minor categories of methods which we classify into other methods: graphical model-based methods, joint face alignment methods, independent facial feature point detectors, and deep learning-based methods. Though significant progress has been made, facial feature point detection is limited in its success by wild and real-world conditions: variations across poses, expressions, illuminations, and occlusions. A comparative illustration and analysis of representative methods provide us a holistic understanding and deep insight into facial feature point detection, which also motivates us to explore promising future directions.

연구 동기 및 목표

• 여러 카테고리에 걸쳐 얼굴 특징점 검출(FFPD) 방법에 대한 체계적 리뷰와 비교 분석을 제공하기 위해.
• 특히 자세 변화, 가림, 표정 변화와 같은 실제 조건에서의 주요 제약 사항을 특정하기 위해.
• LFPW, Helen, COFW 데이터베이스와 같은 표준 벤치마크에서 최첨단 방법의 성능을 평가하기 위해.
• 특히 가려진 또는 기형의 얼굴을 검출할 때 인간 수준의 성능와 현재 방법 간 격차를 부각하기 위해.
• 적응형 특징 학습과 암묵적 형태 모델링과 같은 유망한 향후 연구 방향을 식별하기 위해.

제안 방법

• FFPD 방법을 네 가지 주요 카테고리로 분류: CLM 기반, AAM 기반, 회귀 기반, 기타 방법.
• 국소 전문가와 형태 사전을 사용하여 반응 맵에서의 임계점 예측를 개선하는 CLM 기반 방법 분석.
• 형태와 무늬를 선형 조합된 PCA 기저를 사용하여 함께 모델링하는 AAM 기반 방법 검토로 합성 오차를 최소화.
• 형태나 무늬 모델을 명시적으로 사용하지 않고 이미지 외관을 직접 랜드마크 좌표로 매핑하는 회귀 기반 방법 검토.
• 기타 방법을 그래픽 모델 기반, 공동 얼굴 정렬, 독립적 검출기, 딥 러닝 기반 접근 방식으로 분류.
• LFPW, Helen, COFW와 같은 표준 데이터베이스를 사용하여 평가하며, 랜드마크당 평균 오차 및 이미지 평균 오차와 같은 지표를 활용.

실험 결과

연구 질문

• RQ1 CLM, AAM, 회귀, 딥 러닝 기반 방법 간에 실제 조건에서 정확도와 내성성 측면에서 어떻게 비교되는가?
• RQ2 자세 변화, 가림, 표정 변화와 같은 요소가 FFPD 성능에 미치는 주요 과제는 무엇인가?
• RQ3 최첨단 방법이 얼마나 인간 수준의 정확도를 달성하는가? 어디서 아직 부족한가?
• RQ4 특징 설계와 모델 구조가 형태와 외관 변화를 다룰 때 성능에 어떤 영향을 미치는가?
• RQ5 현재 데이터베이스와 평가 프로토콜의 핵심 제약 사항은 무엇인가? 실제 적용 시나리오를 반영하지 못하는가?

주요 결과

• 계단식 회귀 기반 방법이 모든 카테고리 중 최고의 성능를 기록하며, 2.93 GHz CPU에서 이미지당 최소 0.015초의 테스트 시간을 기록한다.
• 최첨단 방법은 LFPW와 Helen 데이터베이스에서는 인간 수준의 정확도를 달성하지만, 더 많은 가림과 도전적인 자세를 포함한 COFW에서는 성능이 크게 떨어진다.
• 얼굴 윤곽선 주변의 랜드마크는 자세와 가림 영향으로 인해 가장 검출이 어려운 반면, 눈 모서리와 코 끝은 표정 변화에 더 강건하다.
• CLM 기반 방법은 훈련 시간이 상당히 오래 걸리며(예: 2.5 GHz CPU에서 이미지당 최대 2.41초), 비록 추론 시간은 비교적 짧다.
• 딥 러닝 기반 방법은 강력한 잠재력을 보이지만, 장시간의 훈련과 예상치 못한 자세 및 표정 변화에 대한 일반화 능력 부족으로 인해 제한된다.
• 선형 PCA 형태 가정에 의존하는 전통적 모델은 형태 표현 능력에 한계를 가지며, 더 유연한 암묵적 형태 제약 조건이 필요하다는 것을 시사한다.