[논문 리뷰] Simultaneous Facial Landmark Detection, Pose and Deformation Estimation under Facial Occlusion

Yue Wu, Chao Gou외 1명|arXiv (Cornell University)|2017. 09. 23.

Face recognition and analysis참고 문헌 23인용 수 19

한 줄 요약

이 논문은 얼굴 랜드마크, 헤드 포즈, 그리고 가림을 고려한 얼굴 변형을 상호의존성의 특성을 활용해 통합적이고 반복적인 카스케이드 프레임워크로 함께 추정하는 방법을 제안한다. 가림을 명시적으로 모델링하고 모델 기반 포즈 추정을 통합함으로써, 기준 데이터셋에서 최신 기술 수준의 성능을 달성하며, 부분적인 얼굴 가림 상황에서도 랜드마크 검출 정확도를 크게 향상시킨다.

ABSTRACT

Facial landmark detection, head pose estimation, and facial deformation analysis are typical facial behavior analysis tasks in computer vision. The existing methods usually perform each task independently and sequentially, ignoring their interactions. To tackle this problem, we propose a unified framework for simultaneous facial landmark detection, head pose estimation, and facial deformation analysis, and the proposed model is robust to facial occlusion. Following a cascade procedure augmented with model-based head pose estimation, we iteratively update the facial landmark locations, facial occlusion, head pose and facial de- formation until convergence. The experimental results on benchmark databases demonstrate the effectiveness of the proposed method for simultaneous facial landmark detection, head pose and facial deformation estimation, even if the images are under facial occlusion.

연구 동기 및 목표

• 가림 상황에서 얼굴 랜드마크, 헤드 포즈, 얼굴 변형을 순차적이거나 독립적으로 추정하는 기존 방법의 한계를 해결하기 위해.
• 랜드마크, 포즈, 변형 간의 연관성을 활용하는 통합 프레임워크를 개발하여 추정 정확도를 향상시키기 위해.
• 얼굴 가림 상태를 명시적으로 모델링하고 예측하여, 부분적인 얼굴 가림 상황에서도 랜드마크 검출 및 포즈 추정의 강인성을 향상시키기 위해.
• 3D 애너테이션에 의존하지 않도록 학습 기반 랜드마크 검출과 모델 기반 포즈 및 변형 추정을 융합하기 위해.

제안 방법

• 랜드마크 위치, 헤드 포즈, 얼굴 변형, 가림 마스크를 번갈아 가며 반복적으로 개선하는 반복적 카스케이드 절차를 사용한다.
• 2D 랜드마크와 3D 얼굴 모델을 사용한 모델 기반 헤드 포즈 추정 구성 요소를 통합하여 포즈 정확도를 향상시킨다.
• 각 랜드마크에 대해 가림 상태를 명시적으로 추정하여, 시야에 있는지 가려진 지 여부를 구분하여 추정을 안내한다.
• 모든 변수를 반복 단계에서 동시에 업데이트하는 통합 최적화 프레임워크를 통해 상호관계를 활용한다.
• 가림 인식 특징과 포즈/변형 사전 지식을 강화한 회귀 기반 랜드마크 검출 모델을 사용한다.
• 각 단계에서 이전 단계의 예측 결과를 사전 지식으로 사용하는 반복적 개선 전략인 카스케이드 회귀 기법을 적용한다.

실험 결과

연구 질문

• RQ1 순차적이거나 독립적인 방법에 비해 랜드마크, 포즈, 변형을 함께 추정하는 것이 성능 향상에 기여하는가?
• RQ2 명시적인 가림 모델링이 얼굴 가림 상황에서 랜드마크 검출 및 포즈 추정의 강인성에 어떻게 기여하는가?
• RQ3 포즈 및 변형 사전 지식을 통합할 경우 랜드마크 검출 정확도는 어느 정도 향상되는가?
• RQ4 3D 애너테이션을 요구하지 않으면서도 모델 기반 포즈 추정 방법을 학습 기반 랜드마크 검출과 효과적으로 통합할 수 있는가?

주요 결과

• 제안된 방법은 COFW 데이터셋에서 눈 사이 거리 기준 정규화 오차 6.40을 기록하여 기준 카스케이드 회귀 방법(7.70)을 능가한다.
• 가림 예측을 추가하기만 해도 랜드마크 검출 오차가 7.70에서 6.61로 감소하여, 가림 모델링의 가치를 입증한다.
• 가림, 포즈, 변형 추정을 모두 포함한 전체 모델은 COFW 및 MultiPIE 데이터셋에서 반복 과정을 통해 빠르게 수렴하며 최고의 성능을 달성한다.
• MultiPIE 데이터셋에서, 가려진 점을 제외하고 시야에 있는 랜드마크만 사용함으로써, 요각(야각) 추정의 평균 절대 오차 약 1.5°로 정확하게 추정할 수 있었다.
• 가림 상태를 고려함으로써 포즈 피팅 과정에서 가려진 랜드마크를 제외함으로써, 가림을 고려할 경우 약 26°에서 90°(실제값)로 떨어진 요각 오차가 크게 감소함을 확인하였다.
• 반복적 카스케이드 프레임워크는 수렴 속도가 매우 빠르며, 랜드마크 검출 및 포즈 추정 성능이 5~6회 반복 이내에 안정화된다.