[논문 리뷰] Digital Twin: Acquiring High-Fidelity 3D Avatar from a Single Image

Ruizhe Wang, Chih-Fan Chen외 4명|arXiv (Cornell University)|2019. 12. 07.

Face recognition and analysis참고 문헌 45인용 수 7

한 줄 요약

이 논문은 단일 이미지에서 고해상도 UV 텍스처 매핑을 갖춘 고성능 3D 아바타를 생성하기 위한 준지도 학습 딥러닝 방법을 제안한다. 사전에 훈련된 딥 페이셜 아이덴티티 특징을 사용하여 합성적으로 렌더링된 사진처럼 생긴 얼굴 이미지에서 형태 회귀 네트워크를 훈련시킴으로써, 실제 스냅샷 이미지에 대해 뛰어난 일반화 능력과 정확도를 달성한다. 이로 인해 날카러운 얼굴 세부 정보와 현실적인 외관을 갖춘 모바일 친화적인 3D 모델을 생성할 수 있다.

ABSTRACT

We present an approach to generate high fidelity 3D face avatar with a high-resolution UV texture map from a single image. To estimate the face geometry, we use a deep neural network to directly predict vertex coordinates of the 3D face model from the given image. The 3D face geometry is further refined by a non-rigid deformation process to more accurately capture facial landmarks before texture projection. A key novelty of our approach is to train the shape regression network on facial images synthetically generated using a high-quality rendering engine. Moreover, our shape estimator fully leverages the discriminative power of deep facial identity features learned from millions of facial images. We have conducted extensive experiments to demonstrate the superiority of our optimized 2D-to-3D rendering approach, especially its excellent generalization property on real-world selfie images. Our proposed system of rendering 3D avatars from 2D images has a wide range of applications from virtual/augmented reality (VR/AR) and telepsychiatry to human-computer interaction and social networks.

연구 동기 및 목표

• 단일 2D 이미지에서 수동 3D 스캐닝이나 아티스트의 노고에 의존하지 않고 고성능 3D 아바타의 자동 생성을 목표로 한다.
• 2D에서 3D로의 재구성 과정에서 내재된 모호성을 해결하기 위해 강력한 형태 추정을 위해 합성된 사진처럼 생긴 얼굴 이미지를 활용한다.
• 딥 아이덴티티 특징과 비정규 변형, 고해상도 UV 매핑을 조합하여 질감의 현실성과 기하학적 정확도를 향상시킨다.
• 저포oly곤 기하학과 고해상도 텍스처 투영을 통해 모바일 기기에서 실시간으로 효율적으로 렌더링 가능한 3D 아바타를 구현한다.

제안 방법

• 수백만 장의 이미지에서 추출한 사전 훈련된 딥 페이셜 아이덴티티 특징을 사용하여, 단일 이미지에서 3D 얼굴 모델의 정점 좌표를 직접 회귀하는 딥 네ural 네트워크를 훈련한다.
• 형태 추정기는 482개의 중성 3D 얼굴 스캔에서 고성능 렌더링 엔진을 사용해 생성한 대규모 합성 사진처럼 생긴 얼굴 이미지 데이터셋을 기반으로 훈련된다.
• 비정규 변형을 적용하여 카메라 파arameter, 머리 자세, 얼굴 표정, 정점별 교정 필드를 동시에 최적화함으로써 정점 좌표를 정밀하게 보정한다. 이는 특징점 정확도를 향상시킨다.
• 정밀하게 보정된 3D 메쉬에 고해상도 UV 텍스처 매핑을 투영하여 피부 질감과 세밀한 기하학적 구조를 유지한다.
• 사전 훈련된 아이덴티티 특징을 활용하여 형태 일반화 능력을 향상시켜, 제약 없는 스냅샷 이미지에서도 정확한 재구성을 가능하게 한다.
• 최종 3D 아바타 모델은 저포리곤 기반 메쉬와 고해상도 UV 텍스처를 사용하여, 모바일 플랫폼에서 효율적인 실시간 렌더링을 지원한다.

실험 결과

연구 질문

• RQ1 합성된 사진처럼 생긴 이미지로 훈련된 딥러닝 모델이 실세계 스냅샷 이미지에 대해 3D 얼굴 재구성에서 효과적으로 일반화될 수 있는가?
• RQ2 사전 훈련된 딥 페이셜 아이덴티티 특징을 활용할 경우, 단일 이미지 기반 3D 아바타 생성에서 형태 추정 정확도와 일반화 능력이 어떻게 향상되는가?
• RQ3 정점 좌표의 비정규 보정이 특징점 정확도와 텍스처 투영 품질을 어느 정도 향상시키는가?
• RQ4 저포리곤 수준을 유지하면서도 고해상도 텍스처를 갖춘 고성능 3D 아바타를 구현할 수 있는가? 이는 모바일 렌더링 효율성과도 연결된다.

주요 결과

• 제안된 방법은 PRNet, RingNet, 3DMM-CNN와 같은 최첨단 기법들보다 벤치마크 데이터셋에서 더 높은 형태 유사도와 뛰어난 텍스처 해상도를 달성한다.
• 모델은 실제 스냅샷 이미지에 대해 매우 우수한 일반화 능력을 보이며, 조명, 자세, 얼굴 표정의 변동에 대해 강력한 내성적 저항력을 보인다.
• 합성된 사진처럼 생긴 훈련 데이터를 사용함으로써 성능 향상이 뚜렷하게 나타나, 단순하거나 현실감이 떨어지는 합성 데이터로 훈련된 기법들보다 뛰어난 성능을 보인다.
• 저포리곤 기반 기하학과 고해상도 UV 텍스처 매핑 덕분에 최종 3D 아바타 모델은 모바일 기기에서 실시간으로 렌더링이 가능하다.
• 재구성된 모델에 애니메이션 블렌드셰이프를 전달함으로써 고품질의 오디오 기반 입술 동조를 가능하게 하여, 실제 제작 환경에서의 적용 가능성을 입증한다.