[논문 리뷰] Face frontalization for Alignment and Recognition

Christos Sagonas, Yannis Panagakis외 2명|arXiv (Cornell University)|2015. 02. 03.

Face recognition and analysis참고 문헌 33인용 수 12

한 줄 요약

이 논문은 단일 셋의 프론트얼라이먼트 이미지만을 사용하여 얼굴 랜드마크 위치 특정과 프론트얼라이먼트 이미지 복원을 동시에 수행하는 통합 방법인 FAR(Face Frontalization for Alignment and Recognition)를 제안한다. 프론트얼라이먼트 얼굴이 최소한의 핵노름(낮은 질서)을 가지는 것을 관찰함에 따라, 핵노름과 L1 노름을 최소화하는 제약 조건이 붙은 최적화 문제를 해결함으로써 랜드마크와 프론트얼라이먼트 이미지를 동시에 복원한다. 이로 인해 3D 모델이나 딥러닝을 사용하지 않고도 자세에 관계없이 인식 및 정렬 성능에서 최신 기술 수준을 달성한다.

ABSTRACT

Recently, it was shown that excellent results can be achieved in both face landmark localization and pose-invariant face recognition. These breakthroughs are attributed to the efforts of the community to manually annotate facial images in many different poses and to collect 3D faces data. In this paper, we propose a novel method for joint face landmark localization and frontal face reconstruction (pose correction) using a small set of frontal images only. By observing that the frontal facial image is the one with the minimum rank from all different poses we formulate an appropriate model which is able to jointly recover the facial landmarks as well as the frontalized version of the face. To this end, a suitable optimization problem, involving the minimization of the nuclear norm and the matrix $\ell_1$ norm, is solved. The proposed method is assessed in frontal face reconstruction (pose correction), face landmark localization, and pose-invariant face recognition and verification by conducting experiments on $6$ facial images databases. The experimental results demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 제한된 훈련 데이터로 비구속 조건에서 정확한 얼굴 정렬 및 자세에 관계없는 인식을 해결하기 위해.
• 비프론트얼라이먼트 자세 상황에서 3D 얼굴 모델이나 대규모 애너테이션된 데이터셋이 필요 없도록 하기 위해.
• 작은 수의 프론트얼라이먼트 이미지만을 사용하여 동시에 랜드마크 위치 특정과 얼굴 프론트얼라이먼트를 수행하는 통합 프레임워크를 개발하기 위해.
• 프론트얼라이먼트 얼굴이 모든 자세 중에서 가장 낮은 핵노름을 가지며, 이로 인해 자세 보정을 위한 저질서 모델링이 가능하다는 것을 검증하기 위해.
• 딥러닝이나 복잡한 3D 피팅 절차에 의존하지 않고도 높은 성능의 얼굴 인식 및 검증을 달성하기 위해.

제안 방법

• 이 방법은 얼굴 프론트얼라이먼트와 랜드마크 위치 특정을 제약 조건이 붙은 저질서 행렬 복원 문제로 공식화하여, 이미지 표현의 핵노름과 L1 노름을 최소화한다.
• 구조적 일관성을 유지하기 위해, 작은 수의 프론트얼라이먼트 얼굴 이미지에서만 구성된 통계적 형태 모델 U를 사용하여 최적화를 이끌어낸다.
• 프론트얼라이먼트 얼굴이 대칭적인 얼굴 구조로 인해 최소한의 질서를 보이므로, 볼록 최적화를 통해 문제를 해결한다.
• 얼굴 위치를 초기화하기 위해 검출기를 사용하고, 반복적으로 모델을 개선하여 랜드마크와 프론트얼라이먼트 이미지를 동시에 복원한다.
• 3D 모델링을 피하기 위해 저질서 사전 지식을 활용하며, 3D 얼굴 스캔이나 광범위한 2D 애너테이션을 필요로 하지 않는다.
• 프레임워크는 입력 이미지에서 프론트얼라이먼트 출력까지 종단 간(end-to-end)으로 적용되며, 동시에 랜드마크와 프론트얼라이먼트 뷰를 복원한다.

실험 결과

연구 질문

• RQ1 작은 수의 프론트얼라이먼트 이미지만을 사용하여 통합 프레임워크가 동시에 랜드마크 위치 특정과 프론트얼라이먼트를 수행할 수 있는가?
• RQ2 모든 자세 중에서 프론트얼라이먼트 얼굴이 가장 낮은 핵노름을 가지는가? 이는 자세 보정을 위한 저질서 모델링 가능성을 뒷받침하는가?
• RQ3 저질서 및 희소 최적화가 3D 모델이나 딥러닝 없이도 기존 방법보다 자세에 관계없는 얼굴 인식에서 승리할 수 있는가?
• RQ4 단지 프론트얼라이먼트 얼굴의 통계적 모델만을 사용하여 비구속 환경에서 높은 인식 정확도를 달성할 수 있는가?
• RQ5 제안된 방법은 랜드마크 위치 특정 및 인식 성능 측면에서 최신 기술 수준의 접근 방식과 비교해 볼 때 어떻게 성능을 내는가?

주요 결과

• 제안된 FAR 방법은 다양한 자세에서 MultiPIE 데이터베이스에서 97.06%의 인식 정확도를 달성하여 비교된 다섯 가지 방법 중 네 가지를 능가했다.
• LFW 데이터셋에서 FAR는 평균 분류 정확도 88.81% ± 0.0078를 기록하여 MRF-MLBP와 피셔 벡터 얼굴를 능가했으며, 최신 기술 수준의 EigenPEP 방법과 동일한 성능을 보였다.
• 이 방법은 프론트얼라이먼트 얼굴이 모든 자세 중에서 가장 낮은 핵노름을 가지며, 저질서 복원의 핵심 가정을 검증했다.
• FAR는 프론트얼라이먼트 이미지만으로 훈련되었음에도 불구하고, 수천 개의 다양한 자세를 포함한 이미지로 훈련된 방법들보다 뛰어난 랜드마크 위치 특정 성능을 보였다.
• 3D 얼굴 모델이나 복잡한 3D 피팅 절차 없이도 고품질의 프론트얼라이먼트 이미지를 생성했으며, 계산 비용과 복잡성을 줄였다.
• 결과는 저질서 및 희소 최적화가 비정규적인 얼굴 변형을 효과적으로 모델링하고, 강력한 자세에 관계없는 인식을 가능하게 한다는 것을 확인시켰다.