[논문 리뷰] InverseFaceNet: Deep Monocular Inverse Face Rendering

Hyeongwoo Kim, Michael Zollhöfer외 4명|arXiv (Cornell University)|2017. 03. 31.

Face recognition and analysis참고 문헌 46인용 수 11

한 줄 요약

InverseFaceNet는 얼굴 자세, 형태, 표정, 반사율, 조명을 동시에 추정함으로써 단일 이미지에서 실시간 역면역 렌더링을 가능하게 하는 딥러닝 프레임워크입니다. 새로운 모델 스페이스 손실과 자기지도 부트스트랩핑을 통해 실제 이미지로의 일반화를 향상시켜 최적화 기반 방법보다 최대 200배 빠른 속도로 고품질 재구성을 달성합니다.

ABSTRACT

We introduce InverseFaceNet, a deep convolutional inverse rendering framework for faces that jointly estimates facial pose, shape, expression, reflectance and illumination from a single input image. By estimating all parameters from just a single image, advanced editing possibilities on a single face image, such as appearance editing and relighting, become feasible in real time. Most previous learning-based face reconstruction approaches do not jointly recover all dimensions, or are severely limited in terms of visual quality. In contrast, we propose to recover high-quality facial pose, shape, expression, reflectance and illumination using a deep neural network that is trained using a large, synthetically created training corpus. Our approach builds on a novel loss function that measures model-space similarity directly in parameter space and significantly improves reconstruction accuracy. We further propose a self-supervised bootstrapping process in the network training loop, which iteratively updates the synthetic training corpus to better reflect the distribution of real-world imagery. We demonstrate that this strategy outperforms completely synthetically trained networks. Finally, we show high-quality reconstructions and compare our approach to several state-of-the-art approaches.

연구 동기 및 목표

• 하나의 이미지에서 전체 얼굴 파라미터를 추정하는 실시간, 단일 촬영 역면역 렌더링 방법을 개발하는 것.
• 합성 훈련 데이터와 실제 얼굴 이미지 사이의 도메인 갭을 해소하기 위해 일반화 능력을 향상시키는 것.
• 단일 프로퍼스에서 자세, 형태, 표정, 반사율, 조명을 동시에 회귀하는 것.
• 순수하게 합성 데이터로만 훈련하는 데서 비롯하는 한계를 극복하기 위해 자기지도 부트스트랩핑 메커니즘을 도입하는 것.

제안 방법

• 재구성 정확도 향상을 위해 수정된 파라미터 스페이스에서 직접 거리를 측정하는 새로운 모델 스페이스 손실 함수를 제안합니다.
• 네트워크의 예측을 활용해 실제 이미지에서 새로운 합성 훈련 데이터를 생성하는 자기지도 부트스트랩핑 프로세스를 도입합니다.
• 알려진 진짜 파라미터를 갖는 대규모 합성 렌더링 얼굴 이미지 코퍼스에 기반해 딥 컨volution 신경망을 훈련시킵니다.
• 실제 이미지에서 추정한 파라미터의 변형된 버전을 사용해 합성 훈련 세트를 확장하고 실제 세계의 파라미터 분포를 더 잘 반영합니다.
• 각 부트스트랩핑 단계에서 도메인 외부 샘플, 특히 분포 경계 근처의 샘플을 커버하기 위해 평균 적응형 가우시안 재표본 전략을 활용합니다.
• 종합적으로 자세, 형태, 표정, 반사율, 조명 등의 모든 얼굴 모델 파라미터를 엔드 투 엔드 방식으로 동시에 회귀합니다.

실험 결과

연구 질문

• RQ1 딥 네트워크가 단일 이미지에서 자세, 형태, 표정, 반사율, 조명과 같은 핵심 얼굴 파라미터를 고해상도로 동시에 추정할 수 있는가?
• RQ2 합성 훈련 데이터와 실제 얼굴 이미지 사이의 도메인 갭을 효과적으로 줄일 수 있는가?
• RQ3 자기지도 부트스트랩핑이 진짜 레이블이 없는 실외 이미지에 대한 얼굴 재구성 네트워크의 일반화 능력을 향상시킬 수 있는가?
• RQ4 직접 파라미터 스페이스에서 작동하는 모델 스페이스 손실 함수가 기존 픽셀 기반 손실보다 더 높은 재구성 정확도를 제공하는가?
• RQ5 최첨단 최적화 기반 역면역 렌더링 방법과 비교했을 때, 제안된 방법은 속도와 품질 측면에서 어떤가?

주요 결과

• 300-VW Volker 시퀀스에서 InverseFaceNet는 기하 오차 2.10 mm (SD 0.42 mm)를 기록했으며, Tewari 등 [11]의 2.94 mm를 뛰어넘고 Garrido 등 [3]의 1.96 mm에 가까워졌습니다.
• 이 방법은 이미지당 9.4 ms 내외로 실행되며, Garrido 등 [3]의 최적화 기반 방법(이미지당 2분)에 비해 수십만 배 빠릅니다.
• 자기지도 부트스트랩핑은 진짜 레이블이 없는 합성 데이터로만 훈련된 네트워크에 비해 실제 이미지에서의 재구성 품질을 크게 향상시킵니다.
• 정성적 결과에서는 InverseFaceNet가 최첨단 방법들보다 더 현실적으로 보이는 재구성을 제공하며, 더 나은 기하학적 피팅, 정확한 반사율, 올바른 조명을 구현합니다.
• 기존의 학습 기반 방법에서 자주 생략되던 색상 반사율과 조명을 성공적으로 복원하면서도 실시간 추론 성능을 유지합니다.
• 모델 스페이스 손실 함수는 픽셀 스페이스가 아닌 얼굴 모델 파라미터 스페이스에서 직접 최적화함으로써 파라미터 정확도 향상에 기여합니다.