[논문 리뷰] Photo-Realistic Facial Details Synthesis from Single Image

Anpei Chen, Zhang Chen외 4명|arXiv (Cornell University)|2019. 03. 26.

Face recognition and analysis참고 문헌 63인용 수 24

한 줄 요약

이 논문은 조건부 GAN을 사용하여 감정 인식 프록시 기하 구조와 딥 패션 디테일 네트워크(DFDN)를 결합함으로써 단일 이미지에서 사진 수준의 얼굴 디테일을 생성하는 학습 기반의 3D 얼굴 합성 방법을 제안한다. 366개의 고품질 3D 스캔과 163만 장의 일상 이미지에 대해 지도 학습과 비지도 학습을 통합하여, 도전적인 표정과 조명 조건에서도 기하학적 디테일 복구에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a single-image 3D face synthesis technique that can handle challenging facial expressions while recovering fine geometric details. Our technique employs expression analysis for proxy face geometry generation and combines supervised and unsupervised learning for facial detail synthesis. On proxy generation, we conduct emotion prediction to determine a new expression-informed proxy. On detail synthesis, we present a Deep Facial Detail Net (DFDN) based on Conditional Generative Adversarial Net (CGAN) that employs both geometry and appearance loss functions. For geometry, we capture 366 high-quality 3D scans from 122 different subjects under 3 facial expressions. For appearance, we use additional 20K in-the-wild face images and apply image-based rendering to accommodate lighting variations. Comprehensive experiments demonstrate that our framework can produce high-quality 3D faces with realistic details under challenging facial expressions.

연구 동기 및 목표

• 특히 극단적인 표정에서 주름과 같은 세밀한 디테일을 포함한 고해상도 3D 얼굴 기하 구조를 단일 이미지에서 생성하는 데 도전하는 것.
• 희소 랜드마크나 제한된 3D 사전 지식에 의존함으로써 과도하게 매끄럽게 표현되거나 잘못된 표정 모델링이 발생하는 기존 방법의 한계를 극복하는 것.
• 실제 얼굴 통계와 주성분 분석 기반 템플릿을 활용하여 외관과 기하 구조 손실을 통합함으로써 기하학적 디테일 합성 성능을 향상시키는 것.
• 일상 이미지와 구면 조명을 활용한 환경 조명 추정을 통해 비지도 학습 단계를 도입함으로써 조명 변화에 대한 강인성을 향상시키는 것.
• 기존 렲팅 파이프라인과의 통합을 가능하게 하기 위해 표준 PBR 렌더링 워크플로우와 호환되는 이격도 맵을 생성하는 것.

제안 방법

• 기본으로 베를리스 얼굴 모델(BFM)을 사용하고, 딥 러닝을 통해 감정 예측을 수행하여 표정 인식 기반 3D 프록시 얼굴를 생성함으로써 2D 랜드마크에서 기인하는 모호성을 감소시키는 것.
• 조건부 GAN 기반의 딥 패션 디테일 네트워크(DFDN)를 설계하여 이미지 패치를 세밀한 이격도 맵으로 매핑함. 이는 중간 척도(PCA 계수 예측)와 미세 척도(디테일 정밀화)로 구성된 이중 브랜치 아키텍처를 사용한다.
• 366개의 고해상도 3D 스캔에서 유도된 1만 개의 패치에 대해 지도 학습 손실을 적용하여 DFDN을 훈련함. 이때 예측된 이격도 맵과 진짜 이격도 맵 간의 L1 및 인지적 차이를 최소화한다.
• 163만 장의 일상 이미지를 활용한 비지도 학습 손실을 통해 훈련을 보강함. 이 과정에서 프록시 기하 구조와 조명(구면 조명을 통해 추정)을 추정하고, 재렌더링한 결과와의 이미지 재구성 오차를 최소화한다.
• 훈련 중에 지도 기반 기하 구조 손실과 비지도 기반 외관 손실을 번갈아 적용하여 기하 정확성과 사진 수준의 외관을 동시에 최적화하는 것.
• 이미지 기반 렌더링과 구면 조명을 활용하여 일상 이미지의 조명 변화를 모델링함으로써 다양한 조명 조건으로의 일반화를 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 감정 인식 프록시 생성은 특히 랜드마크가 촬영하지 못한 영역에서 단일 이미지로부터의 3D 얼굴 재구성에서 모호성을 줄이는 데 얼마나 효과적인가?
• RQ2 극단적인 표정 조건에서 GAN 기반의 디테일 네트워크는 주름과 코주름과 같은 세밀한 기하 구조적 디테일을 얼마나 잘 복원할 수 있는가?
• RQ3 지도 학습과 비지도 학습의 조합은 일상 이미지에 대한 진짜 기하 구조가 없이도 다양한 조명 조건으로의 일반화에 얼마나 효과적인가?
• RQ4 예측된 이격도 맵은 표준 렌더링 파이프라인에서 효과적으로 사용되어 고해상도, 사진 수준의 얼굴 재렌더링을 생성할 수 있는가?
• RQ5 얼굴 통계와 주성분 분석 기반 템플릿을 통합함으로써 일반적인 표면 모델 대비 합성된 피부 디테일의 현실성과 공간 일관성을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 Pix2vertex, FPD, Extreme3D와 같은 최신 기술 대비 특히 이마, 코주름, 눈 주변과 같은 세밀한 디테일에서 기하 오차가 유의미하게 낮아 향상된 성능을 보였다.
• USC LightStage 및 내부 캡처 데이터셋에서 이격도 맵 오차가 크게 감소했으며, 코와 눈썹과 같은 강한 변형이 발생하는 영역에서 특히 두드러졌다.
• 비지도 훈련 단계는 실제 기하 구조가 없는 상황에서도 재렌더링된 이미지의 외관 일관성이 향상됨으로써 일상 조명 조건으로의 일반화 효과를 효과적으로 입증했다.
• DFDN은 피부의 공간 상관관계를 반영한 더 자연스러운 주름을 생성하여, 단지 조명 모델에 의존하는 다른 방법에서 관찰되는 칼날 자국 같은 아티팩트를 피했다.
• 랜드마크 기반 접근 방식에서 전반적인 맥락이 부족해 자주 손실되는 개인별 특징(예: 눈 아래 부종, 턱선)을 성공적으로 유지했다.
• 이격도 맵은 표준 PBR 렌더링 파이프라인과 호환되며, 외관과 구조에서 입력 이미지와 밀도 높은 일치를 보이는 고해상도 재렌더링 결과를 생성했다.