[논문 리뷰] Regressing Robust and Discriminative 3D Morphable Models with a very Deep Neural Network

Anh Tran, Tal Hassner외 2명|arXiv (Cornell University)|2016. 12. 15.

Face recognition and analysis참고 문헌 34인용 수 12

한 줄 요약

이 논문은 단일 제약 없는 얼굴 이미지에서 강건하고 분류 능력이 뛰어난 3D 모형화 모델(3DMM)의 형상과 질감 파라미터를 직접 회귀하는 매우 깊은 합성곱 신경망(CNN)을 제안한다. 대규모 합성 훈련 데이터셋을 생성함으로써, 이 방법은 최신 기술 수준의 3D 얼굴 재구성 정확도를 달성하고, LFW, YTF, IJB-A 벤치마크에서 경쟁적인 3D 얼굴 인식 성능을 보이며, 제약 없는 환경에서 3D 얼굴 형상을 해석 가능한 표현으로 사용한 최초의 성공 사례를 기록한다.

ABSTRACT

The 3D shapes of faces are well known to be discriminative. Yet despite this, they are rarely used for face recognition and always under controlled viewing conditions. We claim that this is a symptom of a serious but often overlooked problem with existing methods for single view 3D face reconstruction: when applied "in the wild", their 3D estimates are either unstable and change for different photos of the same subject or they are over-regularized and generic. In response, we describe a robust method for regressing discriminative 3D morphable face models (3DMM). We use a convolutional neural network (CNN) to regress 3DMM shape and texture parameters directly from an input photo. We overcome the shortage of training data required for this purpose by offering a method for generating huge numbers of labeled examples. The 3D estimates produced by our CNN surpass state of the art accuracy on the MICC data set. Coupled with a 3D-3D face matching pipeline, we show the first competitive face recognition results on the LFW, YTF and IJB-A benchmarks using 3D face shapes as representations, rather than the opaque deep feature vectors used by other modern systems.

연구 동기 및 목표

• 제약 없는, 실외 환경에서 강건하고 분류 능력이 뛰어난 3D 얼굴 형상 추정의 부족을 해결한다.
• 깊은 CNN의 훈련 데이터가 부족한 문제를 해결하기 위해, 다양한 조명, 자세, 표정을 가진 3DMM 사전 지식을 활용해 제약 없는 얼굴 이미지와 해당 3DMM 파라미터를 포함한 대규모 합성 훈련 데이터셋을 생성한다.
• 다양한 자세와 조명 조건에서도 안정적으로 작동하며 과도한 정규화나 불안정성을 피하는 정확한 3D 얼굴 재구성 가능성을 확보한다.
• 정확하게 추정된 3D 얼굴 형상이 제약 없는 환경에서 얼굴 인식에 강력하고 해석 가능한 표현으로 기능할 수 있음을 입증한다.
• 어두운 깊은 특징보다 3DMM 파라미터를 사용해 더 높은 해석 가능성과 강건성을 확보한 경쟁적인 얼굴 인식 성능을 달성한다.

제안 방법

• 단일 입력 얼굴 이미지에서 3DMM 형상 및 질감 파라미터를 직접 회귀하기 위해 매우 깊은 잔차 CNN(101층)을 훈련한다.
• 3DMM 사전 지식을 활용해 다양한 제약 없는 얼굴 이미지를 시뮬레이션하고, 다양한 조명, 자세, 표정 조건에서 렌더링함으로써 대규모 합성 훈련 데이터셋을 생성한다.
• 3DMM 재구성 손실를 사용해 CNN를 감독하기 위해, 미분 가능한 렌더링 레이어를 활용한 약한 지도 학습 전략을 적용한다.
• 미리 훈련된 특징을 종합하여, 새로운 자세나 표정에 대한 일반화 능력을 향상시키기 위해 CNN 뒤에 풀링 레이어를 적용한다.
• 3D-3D 얼굴 매칭 파이프라인에 추정된 3DMM 파라미터를 통합하여 기하학적 유사도를 매칭 기준으로 사용해 인식을 수행한다.
• 3DMM의 통계적 사전 지식을 활용해 네트워크를 정규화하고, 합성 데이터에 대한 과적합을 방지함으로써 실제 이미지로의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 제한된 실제 레이블 데이터가 존재하는 상황에서도, 매우 깊은 CNN이 단일 제약 없는 얼굴 이미지에서 정확한 3DMM 파라미터를 회귀하는 데 효과적으로 작동할 수 있는가?
• RQ2 제안된 합성 데이터 생성 방법이 실제 실외 이미지로의 일반화에 잘 작동하는 현실적이고 다양한 훈련 예제를 생성하는가?
• RQ3 결과적으로 도출된 3D 얼굴 재구성이 자세와 조명 변화에 강건할 뿐 아니라, 경쟁적인 얼굴 인식에 충분히 분류 능력이 있는가?
• RQ4 LFW, YTF, IJB-A와 같은 표준 벤치마크에서 3D 얼굴 형상 기반 인식 성능가 최신 기술 수준의 시스템과 비교해 어떻게 되는가?
• RQ5 3DMM 파라미터가 제약 없는 환경에서 해석 가능하고 강건한 얼굴 표현으로 기능할 수 있으며, 일반적이거나 과도하게 정규화된 3D 형상보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 제안된 방법은 MICC 데이터셋에서 최신 기술 수준의 3D 얼굴 재구성 정확도를 달성하며, 표면 오차 수준에서 기존 방법들을 뛰어넘는다(밀리미터 수준 정확도).
• LFW 벤치마크에서 얼굴 검증 정확도가 98.5%에 도달하여, 다른 3D 재구성 기반 방법들을 능가하고 페이스북의 다중-CNN 시스템에 가까운 성능을 보였다.
• YTF 벤치마크에서 AUC가 97.8%를 기록하여, 3DDFA 및 3DMM 기반 방법들보다 10퍼센트 이상 뛰어나며, 페이스북의 CNN 앙상블 시스템에 1퍼센트 내외로 근접했다.
• 도전적인 IJB-A 벤치마크에서 1:1 검증 및 1:N 인식 성능이 경쟁적으로 나타났으며, 3DDFA 및 3DMM 기반 방법들보다 뚜렷이 뛰어났다. 다만 최신 전용 시스템에는 아직 뒤지지 않았다.
• 정성적 결과에서는 코와 입 주변에서 오차가 낮고, 동일 주제의 다양한 시점에서도 일관성을 유지하는 시각적으로 타당한 3D 형상을 생성함을 확인했다.
• 실패 사례는 주로 3DMM 사전 지식에 포함되지 않은 콧수염과 극단적인 평면 외 회전에 기인하며, 이는 기초 3DMM 표현의 한계를 시사한다.