[논문 리뷰] Face Alignment Assisted by Head Pose Estimation

Heng Yang, Wenxuan Mou외 4명|arXiv (Cornell University)|2015. 07. 11.

Face recognition and analysis참고 문헌 27인용 수 18

한 줄 요약

이 논문은 깊이 합성곱 신경망을 통해 명시적인 머리 자세 추정을 통한 계단식 얼굴 정렬을 위한 지도 학습 기반 초기화 방법을 제안한다. 추정된 머리 자세를 바탕으로 3D 얼굴 형상을 투영하거나 훈련 데이터에서 가장 가까운 이웃 형상을 검색함으로써, 큰 자세 변화에 대비한 정렬의 강건성을 향상시킨다. 300W 데이터셋에서 실패 사례를 50% 감소시키며 경쟁적인 성능을 달성한다.

ABSTRACT

In this paper we propose a supervised initialization scheme for cascaded face alignment based on explicit head pose estimation. We first investigate the failure cases of most state of the art face alignment approaches and observe that these failures often share one common global property, i.e. the head pose variation is usually large. Inspired by this, we propose a deep convolutional network model for reliable and accurate head pose estimation. Instead of using a mean face shape, or randomly selected shapes for cascaded face alignment initialisation, we propose two schemes for generating initialisation: the first one relies on projecting a mean 3D face shape (represented by 3D facial landmarks) onto 2D image under the estimated head pose; the second one searches nearest neighbour shapes from the training set according to head pose distance. By doing so, the initialisation gets closer to the actual shape, which enhances the possibility of convergence and in turn improves the face alignment performance. We demonstrate the proposed method on the benchmark 300W dataset and show very competitive performance in both head pose estimation and face alignment.

연구 동기 및 목표

• 큰 머리 자세 변화 상황에서 최신 얼굴 정렬 방법의 높은 실패율 문제를 해결하기 위해.
• 평균 또는 무작위 초기화를 자세 인식 초기화로 대체함으로써 계단식 얼굴 정렬 성능을 향상시키기 위해.
• 제약 조건이 없는 환경에서 머리 자세 추정을 위한 신뢰할 수 있는 깊이 합성곱 신경망을 개발하기 위해.
• 자세 기반 초기화가 수렴성과 정확도를 향상시켜 특히 도전적인 자세에서 유의미한 성능 향상을 이끌어내는지 입증하기 위해.
• 제안된 초기화 방법이 다양한 계단식 얼굴 정렬 프레임워크에 일반화 가능한지 확인하기 위해.

제안 방법

• 2D 얼굴 이미지에서 머리 자세(좌우, 경사, 기울기)를 직접 추정하기 위해 깊이 합성곱 신경망(ConvNet)을 훈련한다.
• 추정된 머리 자세를 바탕으로 기준 3D 얼굴 형상(3D 랜드마크 포함)을 검출된 얼굴 경계 상자 내 2D 이미지 평면에 투영한다.
• 대안적 초기화 전략으로는 3D 자세 공간에서 머리 자세 거리 기반으로 훈련 세트에서 가장 가까운 이웃 형상을 검색한다.
• 성능 평가를 위해 제안된 초기화 방법을 강건한 계단식 자세 회귀(Robust Cascaded Pose Regression, RCPR) 프레임워크에 통합한다.
• 두 가지 초기화 전략을 300W 벤치마크에서 평가하여 실패율과 정렬 정확도를 비교한다.
• Viola-Jones 및 HeadHunter에서 유도한 좁고 일관성 없는 경계 상자 등 다양한 얼굴 검출 조건에서 실험하여 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 명시적인 머리 자세 추정이 큰 자세 변화 상황에서 계단식 얼굴 정렬의 신뢰성 향상에 기여하는가?
• RQ2 평균 또는 무작위 초기화 대비 자세 기반 초기화가 실패 사례를 줄이는가?
• RQ3 다양한 얼굴 검출 기반에서 자세 기반 초기화의 성능가 최신 기술 수준의 얼굴 정렬 방법과 비교해 볼 때 어떻게 되는가?
• RQ4 제안된 초기화 방법은 다른 계단식 얼굴 정렬 프레임워크로 일반화 가능한가?
• RQ5 머리 자세 추정 정확도가 최종 정렬 성능에 어떤 영향을 미치는가?

주요 결과

• 3D 형상 투영 초기화 방법을 사용함으로써 실패 사례(정렬 오차 > 0.1) 수를 130개에서 69개로 감소시켜 50% 감소를 달성했다.
• 가장 가까운 이웃 초기화 전략 역시 실패 사례를 130개에서 72개로 줄여, 자세 기반 전략 전반에 걸쳐 일관된 향상이 있음을 확인했다.
• 머리 자세 추정 모델은 제약 조건이 없는 얼굴 이미지에서 4°의 절대 평균 오차를 기록하여 신뢰할 수 있는 초기화를 가능하게 했다.
• 최근 최신 기술 수준의 얼굴 정렬 모델인 SDM, IFA, LBF, CFAN, TCDCN과 비교해도 경쟁적인 성능를 달성했다.
• HeadHunter 얼굴 검출을 사용한 실험에서 특히 좁고 변동성이 큰 경계 상자 조건에서도 안정된 성능 유지를 보이며 뛰어난 강건성을 입증했다.
• 전체 파이프라인은 1장당 3.8ms 내외로 작동하며(자세 추정 0.3ms, 정렬 3.5ms), 실시간 적용 가능성 있음을 시사했다.