[논문 리뷰] A Unified Tensor-based Active Appearance Face Model

Zhenhua Feng, Josef Kittler외 2명|arXiv (Cornell University)|2016. 12. 30.

Face recognition and analysis참고 문헌 62인용 수 6

한 줄 요약

이 논문은 자세, 표정, 조명 변화에 걸쳐 단일 텐서 모델을 사용하여 얼굴 형태와 질감을 통합적으로 모델링하는 유니티 텐서 기반 활성 어파랑스 모델(UT-AAM)을 제안한다. 부족한 데이터셋을 위한 텐서 완성 기법과 계층적 회귀 피팅 전략을 활용함으로써, UT-AAM은 강건한 얼굴 합성과 얼굴 랜드마크 검출 정확도 향상을 가능하게 하며, 300-W 데이터셋에서 데이터 증강에 사용되었을 때 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Appearance variations result in many difficulties in face image analysis. To deal with this challenge, we present a Unified Tensor-based Active Appearance Model (UT-AAM) for jointly modelling the geometry and texture information of 2D faces. For each type of face information, namely shape and texture, we construct a unified tensor model capturing all relevant appearance variations. This contrasts with the variation-specific models of the classical tensor AAM. To achieve the unification across pose variations, a strategy for dealing with self-occluded faces is proposed to obtain consistent shape and texture representations of pose-varied faces. In addition, our UT-AAM is capable of constructing the model from an incomplete training dataset, using tensor completion methods. Last, we use an effective cascaded-regression-based method for UT-AAM fitting. With these advancements, the utility of UT-AAM in practice is considerably enhanced. As an example, we demonstrate the improvements in training facial landmark detectors through the use of UT-AAM to synthesise a large number of virtual samples. Experimental results obtained using the Multi-PIE and 300-W face datasets demonstrate the merits of the proposed approach.

연구 동기 및 목표

• 자세, 표정, 조명 변화에서 샘플이 누락된 완전하지 않은 훈련 데이터셋을 다루는 데에 한계를 보이는 전통적인 텐서 AAM의 문제를 해결하기 위해.
• 다양한 변화 유형에 특화된 모델들을 하나의 일관된 텐서 모델로 통합하여 형태와 질감을 통합적으로 표현함으로써 복잡성을 줄이고 일반화 능력을 향상시키기 위해.
• 기존 상태 추정에 의존하지 않고 최적화 과정에서 국소 최솟값 문제를 줄이는 강건한 피팅 방법을 개발하기 위해.
• 얼굴 랜드마크 검출의 데이터 증강을 위해 다양한 자세 변화를 가진 가상의 얼굴 이미지를 현실적으로 합성할 수 있도록 하기 위해.
• UT-AAM이 합성 훈련 데이터를 통해 얼굴 랜드마크 검출기의 성능 향상에 기여하는 데서의 유용성을 입증하기 위해.

제안 방법

• 다양한 요인의 외관 변화를 하나의 표현에서 포괄할 수 있도록 고차원 특이값 분해(HOSVD)를 사용하여 형태와 질감을 위한 통합 텐서 모델을 구축한다.
• 부족한 훈련 샘플을 복원하기 위해 텐서 완성 알고리즘을 적용하여, 완전한 데이터 수집 없이도 모델 훈련이 가능하도록 한다.
• 극단적인 자세 변화에서 발생하는 자가 가림을 처리하기 위해 통합된 랜드마킹 전략을 제안하여 형태와 질감 표현의 일관성을 확보한다.
• 기존 상태 추정이 필요 없는 계층적 회귀 기반 피팅 알고리즘을 개발하여 수렴성과 정확도를 향상시킨다.
• 훈련된 UT-AAM을 활용해 다양한 자세, 표정, 조명 변화를 가진 46,800개의 가상 얼굴 인스턴스를 합성하여 데이터 증강에 활용한다.
• 실제 얼굴과 합성 얼굴을 결합하여 캐스케이드 회귀 모델(SDM 및 CCR)을 훈련시키며, 도메인 시프트 영향을 줄이기 위해 동적 가중치를 적용한다.

실험 결과

연구 질문

• RQ1 완전한 훈련 데이터가 없더라도, 다중 외관 변화에 걸쳐 얼굴 형태와 질감을 효과적으로 표현할 수 있는 통합 텐서 모델이 가능한가?
• RQ2 극도의 자세 변화에서 발생하는 자가 가림 문제를 어떻게 해결하여 형태와 질감 모델링의 일관성을 확보할 수 있는가?
• RQ3 텐서 완성 기법을 활용하면 완전하지 않은 훈련 데이터셋에서도 신뢰할 수 있는 얼굴 모델링 모델을 구축할 수 있는가?
• RQ4 기울기 하강 기반 방법에 비해 계층적 회귀 기반 피팅 전략이 정확도와 강건성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 UT-AAM이 생성한 합성 얼굴 이미지가 실제 벤치마크에서 얼굴 랜드마크 검출기의 성능 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 UT-AAM은 텐서 완성 기법을 활용해 완전한 데이터 수집 없이도 부족한 훈련 데이터로부터 단일 통합 텐서 모델을 성공적으로 구축하여 강건한 모델 학습이 가능하다.
• 통합된 랜드마킹 전략은 극단적인 자세에서 발생하는 자가 가림 영역을 효과적으로 처리하여 자세 변화에 관계없이 형태와 질감 표현의 일관성을 유지한다.
• 계층적 회귀 기반 피팅 방법은 기울기 하강 기반 접근보다 더 정확한 피팅 결과를 도출하며, 특히 기존 상태 추정이 정확하지 않을 경우에 유의미한 성능 향상을 보인다.
• UT-AAM을 활용해 46,800개의 가상 얼굴 인스턴스를 합성함으로써 300-W 벤치마크에서 얼굴 랜드마크 검출 성능이 크게 향상되었으며, 기준선인 SDM 및 CCR 방법을 모두 초월한다.
• 실제 및 합성 얼굴 데이터를 함께 사용한 CCR 훈련은 300-W 데이터셋의 실외 및 실내 서브셋 모두에서 최신 기술 수준의 성능을 달성한다.
• 이 방법은 대규모이고 다양한 합성 훈련 데이터를 제공함으로써 딥러닝 기반 얼굴 랜드마크 검출의 성능 향상 잠재력을 높게 보여준다.