[논문 리뷰] Unsupervised Depth Estimation, 3D Face Rotation and Replacement

Joel Ruben Antony Moniz, Christopher Beckham외 3명|arXiv (Cornell University)|2018. 03. 25.

Face recognition and analysis참고 문헌 25인용 수 21

한 줄 요약

이 논문은 단일 2D 이미지에서 3D 얼굴 구조를 예측하는 비지도 학습 기반 딥러닝 방법인 DepthNets를 제안한다. 이 방법은 관건점의 깊이를 예측하고, 이를 바탕으로 3D 애핀 변환을 계산하여 얼굴의 자세를 정규화하고 정체성 교체를 수행한다. 지도 학습이 필요한 3D 데이터 없이도 현실적인 3D 얼굴 왜곡을 달성하기 위해 미분 가능한 깊이 감독과 적대적 보정을 활용한다.

ABSTRACT

We present an unsupervised approach for learning to estimate three dimensional (3D) facial structure from a single image while also predicting 3D viewpoint transformations that match a desired pose and facial geometry. We achieve this by inferring the depth of facial keypoints of an input image in an unsupervised manner, without using any form of ground-truth depth information. We show how it is possible to use these depths as intermediate computations within a new backpropable loss to predict the parameters of a 3D affine transformation matrix that maps inferred 3D keypoints of an input face to the corresponding 2D keypoints on a desired target facial geometry or pose. Our resulting approach, called DepthNets, can therefore be used to infer plausible 3D transformations from one face pose to another, allowing faces to be frontalized, transformed into 3D models or even warped to another pose and facial geometry. Lastly, we identify certain shortcomings with our formulation, and explore adversarial image translation techniques as a post-processing step to re-synthesize complete head shots for faces re-targeted to different poses or identities.

연구 동기 및 목표

• 지상 진실 3D 깊이 또는 얼굴 기하학 데이터 없이 단일 2D 이미지에서 3D 얼굴 자세 변화 및 교체를 가능하게 하는 것.
• 예측된 깊이와 3D 애핀 변환 매개변수 간의 일관성을 유지하는 미분 가능한 손실을 사용하여, 관건점의 깊이 예측을 비지도 방식으로 학습하는 것.
• 유추된 깊이를 바탕으로 원천 얼굴 관건점을 목표 기하학으로 매핑하는 3D 애핀 변환을 추정하여 자세 정규화 및 얼굴 교체를 가능하게 하는 것.
• 배경 및 외관 불일치를 보완하기 위해 적대적 이미지-이미지 번역을 적용하여 왜곡된 얼굴의 시각적 현실감을 향상시키는 것.

제안 방법

• DepthNets는 단일 이미지에서 N개의 얼굴 관건점에 대한 깊이를 신경망을 통해 예측하며, 깊이 값에 대한 지도 없이 수행된다.
• 깊이가 보강된 2D 원천 관건점의 의사역행렬과 2D 목표 관건점을 사용하여 3D 애핀 변환 행렬을 닫힌 형태로 계산하며, 이로 인해 변환 과정을 역전파할 수 있다.
• 예측된 깊이와 결과적인 3D 애핀 변환 간의 일관성을 강제하는 미분 가능한 손실을 통해 훈련되며, 이로 인해 엔드 투 엔드 최적화가 가능하다.
• 시아미즈 유사 아키텍처는 공유 가중치를 사용해 원천 및 목표 이미지를 처리하며, 완전 연결형 변형은 관건점 좌표만을 사용한다.
• 왜곡된 3D 얼굴의 외관을 보완하기 위해 사후 단계로 적대적 이미지-이미지 번역 네트워크를 적용한다. 이는 배경 불일치를 수정하고 현실감을 향상시킨다.
• 유도된 3D 애핀 변환을 사용하여 질감가공된 삼각형 메쉬를 통해 원천 얼굴를 목표 기하학에 투영한다.

실험 결과

연구 질문

• RQ1 지상 진실 3D 감독 없이 단일 2D 이미지에서 3D 얼굴 기하학 및 자세 변환을 예측할 수 있는가?
• RQ2 얼굴 관건점의 깊이 예측을 사용하여 원천에서 목표 얼굴 기하학으로 매핑하는 미분 가능한 3D 애핀 변환을 계산할 수 있는가?
• RQ3 비지도 깊이 추정을 어떻게 미분 가능한 파이프라인에 통합하여 얼굴 자세 변화 및 교체를 위한 엔드 투 엔드 훈련을 지원할 수 있는가?
• RQ4 배경 및 질감 불일치가 발생할 경우, 적대적 이미지 번역이 왜곡된 얼굴의 현실감을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 지상 진실 깊이 데이터를 전혀 사용하지 않아도 비지도 3D 얼굴 추정 분야에서 최고 성능의 관건점 정렬 성능을 달성한다.
• 미분 가능한 공식화 덕분에 3D 애핀 변환의 의사역행렬 계산 과정을 역전파할 수 있으며, 깊이 및 변환 매개변수의 동시 최적화가 가능하다.
• 심지어 원천 및 목표 얼굴 간의 외관과 기하학적 차이가 클 경우에도 얼굴의 정면화 및 정체성 이동을 성공적으로 수행한다.
• 적대적 사후 처리가 배경을 현실적으로 재생산하고 왜곡된 얼굴의 질감 불일치를 수정함으로써 시각적 품질을 크게 향상시킨다.
• 모델은 다양한 정체성과 자세, 특히 극단적인 비정면 시야에서도 일반화 가능하지만, 텍스처 추출이 불가능한 가림 현상이 있을 경우 성능이 저하된다.
• 카메라 파라미터나 원천 및 목표 간 픽셀 대응 관계에 의존하지 않아 빛의 조건과 색상 변화에 대해 강건하다.