[논문 리뷰] Learning Formation of Physically-Based Face Attributes

Ruilong Li, Karl Bladin외 9명|arXiv (Cornell University)|2020. 04. 02.

Face recognition and analysis참고 문헌 61인용 수 4

한 줄 요약

이 논문은 4,000개의 고해상도 얼굴 스캔 데이터를 기반으로 훈련된 비선형 딥러닝 기반 3D 모루어블 얼굴 모델을 소개한다. 이 모델은 4K 해상도에서 기하학적 세부 정보(포화 수준)와 물리 기반 재질 특성(알베도, 반사, 이격)을 구현하며, 캐스케ading GAN을 사용해 현실감 있고 해부학적으로 일관된 얼굴을 생성한다. 이는 표현 피팅 성능을 향상시켜 선형 모델 대비 1.2mm MSE를 달성했으며, 새로운 신체적 정체성 생성, 메시 피팅, 저해상도에서 고해상도 데이터 전이를 가능하게 한다.

ABSTRACT

Based on a combined data set of 4000 high resolution facial scans, we introduce a non-linear morphable face model, capable of producing multifarious face geometry of pore-level resolution, coupled with material attributes for use in physically-based rendering. We aim to maximize the variety of face identities, while increasing the robustness of correspondence between unique components, including middle-frequency geometry, albedo maps, specular intensity maps and high-frequency displacement details. Our deep learning based generative model learns to correlate albedo and geometry, which ensures the anatomical correctness of the generated assets. We demonstrate potential use of our generative model for novel identity generation, model fitting, interpolation, animation, high fidelity data visualization, and low-to-high resolution data domain transferring. We hope the release of this generative model will encourage further cooperation between all graphics, vision, and data focused professionals while demonstrating the cumulative value of every individual's complete biometric profile.

연구 동기 및 목표

• 그래픽스 및 비전 연구에서 사용할 수 있는 공개 리포지터리에 존재하지 않는 고정밀도, 물리 기반 얼굴 데이터의 부족을 해결하기 위해.
• 선형 3DMM의 한계를 극복하여 밀리미터 이하의 기하학적 세부 정보와 재질 일관성을 포괄할 수 있도록 하기 위해.
• 딥러닝 기반 생성 모델을 활용해 다양하고 해부학적으로 정확한 얼굴 정체성과 표현을 제어 가능한 방식으로 생성하기 위해.
• 대규모 고해상도 스캔 데이터베이스에서 유도된 작고 효율적인 생성 모델을 통해 고품질 얼굴 자산에 대한 접근성을 보편화하기 위해.
• VFX 및 생체 인식 분야에서 메시 피팅, 저해상도 데이터 향상, 고정밀도 렌더링 등의 애플리케이션을 지원하기 위해.

제안 방법

• 머리 기하학에 비선형 3DMM을, 눈, 이빨, 머리 부분에는 선형 PCA를 조합한 하이브리드 모델링 방법을 사용한다.
• 기하학과 알베도를 동시에 생성하기 위해 캐스케ading 생성 적대 신경망(GAN)을 훈련하며, 별도의 및 공동의 판별기로 해부학적 정확성과 텍스처 품질을 확보한다.
• 저차원 잠재 코드에서 유도된 추론 및 스케일업을 통해 고해상도 4K 텍스처 맵(알베도, 반사, 이격)을 복원한다.
• 자동화된 파이프라인은 각 주제당 26개의 표현에 대해 밀도 있는 대응 및 UV 매핑을 수행하여 일관된 정렬과 훈련을 가능하게 한다.
• 개별적인 저차원 잠재 벡터를 사용해 정체성과 표현을 분리함으로써 독립적인 제어를 가능하게 한다.
• 가능한 렌더링 및 피팅 파이프라인을 통해 GAN을 역으로 적용하여 목표 메시에서 잠재 코드를 추론함으로써 3D 스캔 정렬을 수행한다.

실험 결과

연구 질문

• RQ1 대규모 고정밀도 스캔 데이터베이스에서 딥러닝 기반 생성 모델이 고해상도, 물리 기반 얼굴 특성(기하학, 알베도, 반사)을 학습할 수 있는가?
• RQ2 비선형 3DMM은 선형 모델 대비 얼굴 표현 재구성 및 스캔 데이터 피팅에서 어떤 성능을 보이는가?
• RQ3 학습 중에 볼 수 없었던 새로운 정체성과 표현으로 모델이 얼마나 잘 일반화되는가?
• RQ4 저해상도 얼굴 스캔을 고해상도, 물리 기반 도메인으로 전이하여 향상시킬 수 있는가?
• RQ5 메시 피팅 및 애니메이션 리타겟팅과 같은 후속 작업을 지원하는 데 모델이 얼마나 잘 기능하는가?

주요 결과

• 제안된 모델은 표현 피팅에서 평균 제곱 오차(MSE)가 1.2mm를 기록하여 선형 FaceWarehouse 모델(2.4mm MSE)보다 우수한 재구성 정확도를 입증했다.
• 모델은 원본 훈련 데이터의 성별 및 연령 분포와 유사한 분포를 가진 5,000개의 새로운 얼굴 정체성을 성공적으로 생성하여 잠재 공간의 강력한 커버리지가 있음을 시사한다.
• 저해상도 얼굴 스캔이 질적 및 양적 비교를 통해 현실적인 재질과 기하학적 세부 정보를 갖춘 4K 해상도로 효과적으로 향상되었음을 입증했다.
• 비선형 역전 과정을 통한 정확한 3D 스캔 피팅이 가능하여, Basel 및 FLAME과 같은 선형 모델보다 하우스도르프 거리 오차 지표에서 뛰어난 성능을 보였다.
• 별도의 및 공동 판별기를 갖춘 공동 GAN 훈련은 기하학과 알베도의 고품질, 해부학적으로 일관된 생성을 보장한다.
• 정체성 보간, 애니메이션, 데이터 도메인 전이와 같은 새로운 응용 분야를 지원하여 그래픽스 및 비전 파이프라인에서 넓은 활용 가능성을 입증했다.