[논문 리뷰] Disentangling Features in 3D Face Shapes for Joint Face Reconstruction and Recognition

Feng Liu, Ronghang Zhu외 3명|arXiv (Cornell University)|2018. 03. 30.

Face recognition and analysis인용 수 8

한 줄 요약

이 논문은 단일 2D 이미지에서 정체성과 비정체성 형태 특징을 분리하는 인코더-디코더 네트워크를 사용하여 3D 얼굴 재구성과 인식을 동시에 수행하는 프레임워크를 제안한다. 별도의 잠재 변수를 가진 복합 3D 모호러블 모델을 통해 재구성 및 인식 손실을 동시에 최적화함으로써, BU3DFE에서 RMSE: 2.00±0.32의 정확도로 3D 얼굴 재구성 성능과 IJB-A에서 TAR-10%: 94.43±1.47의 정확도로 얼굴 인식 성능에서 기존의 3DMM 기반 및 CNN 전용 방법들을 능가하는 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

This paper proposes an encoder-decoder network to disentangle shape features during 3D face reconstruction from single 2D images, such that the tasks of reconstructing accurate 3D face shapes and learning discriminative shape features for face recognition can be accomplished simultaneously. Unlike existing 3D face reconstruction methods, our proposed method directly regresses dense 3D face shapes from single 2D images, and tackles identity and residual (i.e., non-identity) components in 3D face shapes explicitly and separately based on a composite 3D face shape model with latent representations. We devise a training process for the proposed network with a joint loss measuring both face identification error and 3D face shape reconstruction error. To construct training data we develop a method for fitting 3D morphable model (3DMM) to multiple 2D images of a subject. Comprehensive experiments have been done on MICC, BU3DFE, LFW and YTF databases. The results show that our method expands the capacity of 3DMM for capturing discriminative shape features and facial detail, and thus outperforms existing methods both in 3D face reconstruction accuracy and in face recognition accuracy.

연구 동기 및 목표

• 기존의 3D 얼굴 재구성 방법이 인식에 유용한 정체성 민감한 특징을 명시적으로 모델링하지 못하는 한계를 해결하기 위해.
• 정체성과 잔여(비정체성) 형태 성분을 분리하여 3D 얼굴 재구성과 얼굴 인식을 동시에 최적화하기 위해.
• 딥러닝을 활용하여 3D 모호러블 모델(3DMM)의 제약된 형태 공간을 초월해 더 나은 특징 구분 능력과 세부 정보 캡처 능력을 향상시키기 위해.
• 큰 머리 자세 조건에서도 강인한 얼굴 인식 성능을 향상시키기 위해 보완적인 3D 형태 특징을 활용하기 위해.

제안 방법

• 단일 2D 이미지에서 직접 고밀도 3D 얼굴 형태를 추정하기 위해 인코더-디코더 신경망을 사용한다.
• 정체성과 잔여(비정체성) 형태 성분을 위한 별도의 잠재 변수를 가진 복합 3D 얼굴 형태 모델을 도입한다.
• 3D 재구성 오차와 얼굴 식별 손실을 조합한 복합 손실을 사용하여 네트워크를 훈련함으로써 엔드 투 엔드 최적화를 가능하게 한다.
• 라벨이 부여된 정체성과 해당 3D 형태를 가진 훈련 데이터를 생성하기 위해 다중 이미지 3DMM 피팅 방법을 개발한다.
• 훈련 과정은 세 단계로 구성된다: 3DMM에 의해 생성된 데이터에서의 사전 훈련, 정체성과 잔여 특징의 분리, 재구성 및 인식 지도를 동시에 사용한 공동 최적화.
• 원래의 3DMM 기저 공간을 초월해 표현 능력을 향상시키기 위해 공동 지도 신호를 사용하여 모델을 미세 조정한다.

실험 결과

연구 질문

• RQ1 3D 얼굴 재구성과 얼굴 인식을 동시에 최적화하면 두 작업 모두에서 성능 향상이 이루어지는가?
• RQ2 딥 러닝 네트워크가 단일 2D 이미지에서 3D 얼굴 형태의 정체성 민감한 특징과 정체성 무관한 특징을 얼마나 효과적으로 분리할 수 있는가?
• RQ3 제안된 방법이 기존의 3DMM 기반 재구성 방법보다 정체성 특징과 구분 가능한 얼굴 세부 정보를 얼마나 잘 포착하는가?
• RQ4 분리된 3D 형태 특징은 큰 머리 자세 조건에서도 얼굴 인식 정확도 향상에 기여하는가?
• RQ5 공동 훈련 기반의 학습 프로토콜이 3DMM의 제한된 형태 공간을 초월해 일반화 능력을 향상시키는가?

주요 결과

• 제안된 방법은 BU3DFE(자세) 세트에서 재구성 RMSE가 2.00±0.32로 기존 기준 방법보다 유의미하게 낮아 최신 기술 수준의 3D 얼굴 재구성 정확도를 확보하였다.
• IJB-A 데이터셋에서 TAR-10%는 94.43±1.47, TAR-1%는 88.74±1.03을 기록하여 기존의 3DMM 기반 및 CNN 전용 방법들을 능가하는 얼굴 인식 성능을 확보하였다.
• 식별 손실을 통한 공동 훈련으로 인해 재구성 오차가 단계 II의 2.23±0.48에서 단계 III의 2.00±0.32로 감소하여 공동 지도의 효과를 입증하였다.
• 재구성된 정체성 형태에서 정체성 민감한 특징이 유지되고 비정체성 세부 정보가 제거된 것으로 나타나 정체성 민감한 특징의 성공적인 분리가 이루어졌음을 입증하였다.
• DR-GAN과의 융합을 통해 IJB-A에서 정확도가 93.9±0.9로 향상되었으며, 이는 분리된 3D 형태 특징이 텍스처 기반 특징과 보완적임을 보여주었다.
• 큰 머리 회전 조건과 같은 과도한 조건에서도 텍스처 기반 방법이 실패하는 상황에서도 3D 형태 특징이 정확한 인식을 가능하게 하여 우수한 일반화 능력을 보였다.