[논문 리뷰] Relightable 3D Head Portraits from a Smartphone Video

Artem Sevastopolsky, Savva Ignatiev외 3명|arXiv (Cornell University)|2020. 12. 17.

Advanced Vision and Imaging참고 문헌 41인용 수 8

한 줄 요약

이 논문은 번갈아가며 켜지는 플래시와 꺼진 플래시 프레임을 포함한 스마트폰 영상에서, 구조-운동에서 유도된 거친 점군과 딥 네트워크를 활용해 반사율, 법선, 조명 지도를 추정함으로써 상호작용적인 프레임 레이트에서 임의의 조명 조건 하에서 사진 수준의 재조명이 가능한 3D 헤드 포트레이트를 생성하는 신경 렌더링 파이프라인을 제시한다. 얼굴 전용 사전 지식을 활용하여 반사율-조명 분리에 대한 강건한 성능을 달성한다.

ABSTRACT

In this work, a system for creating a relightable 3D portrait of a human head is presented. Our neural pipeline operates on a sequence of frames captured by a smartphone camera with the flash blinking (flash-no flash sequence). A coarse point cloud reconstructed via structure-from-motion software and multi-view denoising is then used as a geometric proxy. Afterwards, a deep rendering network is trained to regress dense albedo, normals, and environmental lighting maps for arbitrary new viewpoints. Effectively, the proxy geometry and the rendering network constitute a relightable 3D portrait model, that can be synthesized from an arbitrary viewpoint and under arbitrary lighting, e.g. directional light, point light, or an environment map. The model is fitted to the sequence of frames with human face-specific priors that enforce the plausibility of albedo-lighting decomposition and operates at the interactive frame rate. We evaluate the performance of the method under varying lighting conditions and at the extrapolated viewpoints and compare with existing relighting methods.

연구 동기 및 목표

• 저비용이며 휴대용 스마트폰 영상 촬영을 통해 사진 수준의 재조명 가능한 3D 인간 헤드 포트레이트를 가능하게 하기 위해.
• 단일 뷰 또는 전용 장비 기반의 재조명 방법의 한계를 극복하기 위해 플래시-노플래시 영상 시퀀스를 입력으로 사용하기 위해.
• 신경 렌더링 프레임워크 내에서 인간 얼굴 전용 사전 지식을 활용하여 반사율과 조명 요소를 효과적으로 분리하기 위해.
• 학습된 신경 렌더링 파이프라인을 통해 새로운 시점과 조명 조건에서 실시간 재조명 성능를 달성하기 위해.
• 방향성 조명, 점조명, 환경 맵 조명을 포함한 임의의 조명 조건 하에서 상호작용적인 3D 포트레이트 렌더링을 지원하기 위해.

제안 방법

• 플래시와 노플래시 프레임이 번갈아 가며 포함된 스마트폰 영상에서 구조-운동(SfM)과 다중 뷰 노이즈 제거를 통해 거친 3D 점군을 재구성한다.
• 렌더링에 사용하기 위한 광학적 성질을 캡처하기 위해 점군의 각 점에 신경 기반 기술자를 부착한다.
• 새로운 시점에서 렌더링된 점군 투영도를 기반으로 딥 네트워크가 픽셀 단위의 반사율, 표면 법선, 그림자 지도를 추정한다.
• 기하학적 및 광학적 정확도를 향상시키기 위해 L1, TV, 대칭성, 및 VGG 기반의 인지적 손실을 포함하는 다중 구성 요소 손실 함수로 네트워크를 훈련시킨다.
• 최적화 과정에서 얼굴 전용 사전 지식을 적용하여 전체 머리와 상체에 걸쳐 타당한 반사율-조명 분리가 이루어지도록 한다.
• 학습된 조명 모델에 새로운 조명 파rameter를 삽입함으로써 임의의 조명 조건에 대한 재조명을 지원하며, 상호작용적인 프레임 레이트에서 실시간 렌더링을 구현한다.

실험 결과

연구 질문

• RQ1 표준 스마트폰 영상에서 플래시-노플래시 시퀀스를 사용하여 재조명 가능한 3D 인간 헤드 포트레이트를 재구성할 수 있는가?
• RQ2 점군 기하학을 활용한 신경 렌더링은 제약 없는 조명 조건 하에서 정확한 반사율과 조명 분해를 얼마나 효과적으로 실현할 수 있는가?
• RQ3 얼굴 전용 사전 지식은 신경 렌더링 파이프라인 내에서 반사율과 조명의 분리에 얼마나 기여하는가?
• RQ4 학습 중에 보지 못한 새로운 시점과 조명 조건으로 일반화 가능한가?
• RQ5 정성적 및 정량적으로 기존의 재조명 기법과 비교했을 때, 인지적 품질과 정확도 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 환경 조명 + 1차 구면 조화 함수 조명 조건 하에서 합성된 RenderPeople 데이터셋에서 PSNR 259.14, SSIM 0.1259를 기록하여, 둘 다 DPR [50]보다 뛰어난 성능을 보였다.
• Ablation 연구 결과, 법선 손실을 제거할 경우 법선 추정이 평균에 더 가까워지며, TV 손실을 생략할 경우 반사율 예측이 더 흐릿해지는 것으로 나타났다.
• 대칭성 손실은 그림자 정확도를 향상시키며, 이를 생략할 경우 대칭적인 얼굴 기능에서 더 현실감 없는 그림자를 유도한다.
• VGG 기반의 인지적 손실은 색상 일치에 핵심적인 역할을 하며, 다른 손실 없이 VGG만을 사용할 경우 법선의 색상 일관성이 떨어지는 결과를 낳는다.
• 새로운 조명을 원래 실내 조명에 추가했을 때 성능이 가장 우수하여, 추가 조명 시나리오에서의 강건성을 보였다.
• 학습에 사용되지 않은 새로운 시점으로의 일반화 성능는 뛰어나지만, 극단적인 시점 외삽에서는 성능가 약간 저하되는 경향이 있었다.