[논문 리뷰] Effective Face Frontalization in Unconstrained Images

Tal Hassner, Shai Har-El외 2명|arXiv (Cornell University)|2014. 11. 28.

Face recognition and analysis참고 문헌 35인용 수 10

한 줄 요약

이 논문은 비제약적, 비정방향 이미지에서 정방향 시야를 합성하기 위해 단일 고정 3D 얼굴 모델을 사용하는 단순하면서도 효과적인 얼굴 정방향화 방법을 제안한다. 각 이미지의 3D 형태 추정을 회피함으로써, 더 나은 정렬 및 인식 성능를 달성하여 LFW에서 얼굴 인식 정확도를 91.65%로 향상시키고, Adience에서 성별 추정 성능을 약 4% 향상시켰다. 이는 인식 작업에서 개인화된 3D 피팅보다 고정된 일반화된 3D 기하학이 더 우수할 수 있음을 보여준다.

ABSTRACT

"Frontalization" is the process of synthesizing frontal facing views of faces appearing in single unconstrained photos. Recent reports have suggested that this process may substantially boost the performance of face recognition systems. This, by transforming the challenging problem of recognizing faces viewed from unconstrained viewpoints to the easier problem of recognizing faces in constrained, forward facing poses. Previous frontalization methods did this by attempting to approximate 3D facial shapes for each query image. We observe that 3D face shape estimation from unconstrained photos may be a harder problem than frontalization and can potentially introduce facial misalignments. Instead, we explore the simpler approach of using a single, unmodified, 3D surface as an approximation to the shape of all input faces. We show that this leads to a straightforward, efficient and easy to implement method for frontalization. More importantly, it produces aesthetic new frontal views and is surprisingly effective when used for face recognition and gender estimation.

연구 동기 및 목표

• 극도로 다양하고 변동성이 큰 얼굴 자세로 인해 발생하는 비제약적 이미지에서의 얼굴 인식 과제를 해결하기 위해.
• 각 이미지별 3D 얼굴 형태 추정에 의존하는 기존 정방향화 방법의 한계를 극복하기 위해. 이러한 방법은 잘못된 정렬을 유발할 수 있으며, 계산적으로도 부담이 크다.
• 모든 입력에 대해 단일의 수정되지 않은 3D 얼굴 모델을 사용할 경우, 개인화된 3D 피팅보다 더 나은 정렬 및 인식 성능를 달성할 수 있는지 조사하기 위해.
• 비제약적 환경에서 인식 작업에서 정확한 3D 형태보다는 얼굴 텍스처가 더 중요할 수 있음을 보여주기 위해.

제안 방법

• 모든 입력 이미지에 대해 실제 주체의 얼굴 형태와 관계없이 단일 고정 3D 얼굴 모델(수정되지 않은 상태)을 기준으로 사용한다.
• 질의 이미지에서 2D 얼굴 키포인트를 검출하고, 이를 기준 모델의 대응 3D 점들과 매칭한다.
• 2D 질의 점들에서 3D 모델 점들로의 투영 행렬을 추정하여, 이미지 강도를 정방향화된 3D 좌표계로 역투영한다.
• 대칭 영역에서의 색상 혼합을 통해 가림되거나 비노출 영역을 보정함으로써 가시성 보정을 수행한다.
• 최종적으로 생성된 정방향화된 이미지를 후속 인식 작업(예: 얼굴 인식, 성별 추정)의 입력으로 사용한다.
• LFW 및 Adience 벤치마크에서 성능 평가를 위해 표준 이미지 표현 방식(LBP, FPLBP)과 분류기(SVM)를 활용한다.

실험 결과

연구 질문

• RQ1 비제약적 이미지에서 정방향화 작업에서 고정된 일반화된 3D 얼굴 모델이 개인화된 3D 형태 추정보다 우수한 성능을 낼 수 있는가?
• RQ2 모든 얼굴에 대해 동일한 3D 모델을 사용할 경우, 각 이미지별 3D 피팅 대비 정렬 품질 및 인식 성능가 향상되는가?
• RQ3 개인화된 얼굴 기하학의 부재가 정방향화된 얼굴의 인식 가능성과 미적 품질에 어느 정도 영향을 미치는가?
• RQ4 비제약적 환경에서 인식 작업에서 정확한 3D 형태보다 얼굴 텍스처가 더 중요한가?
• RQ5 고정된 모델을 사용한 정방향화가 LFW 및 Adience와 같은 도전적인 벤치마크에서 최신 기술 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 '이미지 제한, 외부 데이터 레이블 없음' 카테고리에서 LFW 벤치마크에서 91.65% ± 1.04의 얼굴 인식 정확도를 달성하여 지금까지 보고된 바 중 최고 수준의 성능을 기록했다.
• 고정된 3D 모델을 사용한 정방향화로 Adience 벤치마크에서 성별 추정 정확도가 약 4% 향상되어 LBP 특징을 사용할 경우 80.0% ± 0.7%에 도달했다.
• 형태 유지 정렬 방법보다도 성능이 뛰어나, 고정된 3D 모델을 통한 강력한 정렬이 분류 성능 향상에 기여함을 보여주었다.
• 입력 이미지의 자세 변동이 심할지라도 정방향화 결과는 높은 인식 가능성과 미적 품질을 유지했으며, 형태 불일치로 인한 성능 저하가 최소한이었다.
• 정방향화된 이미지를 Sub-SML과 조합함으로써 인식 성능이 2% 향상되어 최신 기술 인식 파이프라인과의 호환성을 입증했다.
• 성별 추정에서의 오분류 오류는 주로 명확한 성별 신호 부족이나 이미지 품질 열화로 인한 것이었으며, 정방향화 과정 자체의 결함 때문이 아니었다.