[논문 리뷰] NeLF: Neural Light-transport Field for Portrait View Synthesis and Relighting

Tiancheng Sun, Kai-En Lin외 3명|arXiv (Cornell University)|2021. 01. 01.

Advanced Vision and Imaging참고 문헌 42인용 수 4

한 줄 요약

이 논문은 단지 다섯 장의 입력 포트레이트 이미지에서 3D 기하학, 외관, 조명을 동시에 추정하는 신경망 빛-운반장(field)인 NeLF를 제안한다. 이를 통해 고품질의 뷰 합성과 재조명이 가능해진다. CNN-MLP 아키텍처를 사용하여 빛 운반장 벡터와 환경 맵를 모델링하고 도메인 적응을 통한 최적화로, 합성 및 실제 포트레이트에서 최신 기술 수준의 성능을 달성하며, 입력 데이터를 최소화하였다.

ABSTRACT

Human portraits exhibit various appearances when observed from different views under different lighting conditions. We can easily imagine how the face will look like in another setup, but computer algorithms still fail on this problem given limited observations. To this end, we present a system for portrait view synthesis and relighting: given multiple portraits, we use a neural network to predict the light-transport field in 3D space, and from the predicted Neural Light-transport Field (NeLF) produce a portrait from a new camera view under a new environmental lighting. Our system is trained on a large number of synthetic models, and can generalize to different synthetic and real portraits under various lighting conditions. Our method achieves simultaneous view synthesis and relighting given multi-view portraits as the input, and achieves state-of-the-art results.

연구 동기 및 목표

• 희소한 입력 이미지에서 인간 포트레이트의 새로운 뷰를 동시에 합성하고 재조명하는 과제를 해결한다.
• 이전의 NeRF 기반 방법들이 많은 이미지가 필요하고 재조명을 지원하지 못하는 한계를 극복한다.
• 다양한 환경 맵에서 제어 가능한 재조명을 가능하게 하기 위해 외관에서 조명 효과를 분리한다.
• 실제 포트레이트 데이터를 활용한 도메인 적응을 통합하여 실제 세계의 포트레이트로의 일반화를 향상시킨다.
• 다중 뷰 포트레이트에서 기하학, 외관, 조명을 동시에 최적화할 수 있는 기울기 기반 레이 마르칭을 가능하게 한다.

제안 방법

• 입력된 포트레이트 이미지에서 다중 뷰 신경 특징을 추출하기 위해 UNet 유사 CNN을 사용하여 각 픽셀의 기하학과 외관을 인코딩한다.
• 임의의 3D 점에 대해 투영을 통한 다중 뷰 특징을 집계하고, MLP를 사용하여 볼륨 밀도와 빛 운반장 벡터를 회귀한다.
• 빛 운반장을 환경 맵의 선형 함수로 모델링하여, 단순히 입력 조명을 변경하기만 하면 재조명이 가능하도록 한다.
• 잠재 특징에서 환경 맵를 예측하는 보조 네트워크를 통합하여 조명과 외관의 분리에 기여한다.
• CelebAMask-HQ에서 훈련된 CNN 회귀기로 구성된 도메인 적응 모듈을 적용하여 실제 데이터에 대한 강건성을 향상시킨다.
• 렌더링, 조명 추정, 도메인 정규화를 조합한 복합 손실을 통해 엔드 투 엔드로 전체 구성 요소를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 다섯 장의 입력 포트레이트 이미지로만 고품질의 뷰 합성과 재조명을 동시에 수행할 수 있는 신경 렌더링 시스템은 가능한가?
• RQ2 어떤 방식으로 신경 부피 표현에서 빛 운반장을 명시적으로 모델링할 수 있으며, 이를 통해 임의의 재조명을 지원할 수 있는가?
• RQ3 합성 데이터로 훈련된 모델은 미세조정 없이도 실제 포트레이트 이미지로 일반화될 수 있는가?
• RQ4 인간 포트레이트의 신경 렌더링에서 외관, 기하학, 조명을 분리하기 위해 필요한 아키텍처 구성 요소는 무엇인가?
• RQ5 도메인 적응은 표준 NeRF 스타일의 방법에 비해 실제 세계의 포트레이트 데이터 세트에서 성능을 어떻게 향상시키는가?

주요 결과

• NeLF는 합성 및 실제 포트레이트 데이터 세트에서 모두 최신 기술 수준의 성능을 달성하여 공동 뷰 합성과 재조명에서 베이스라인을 압도한다.
• 이전 방법에 비해 데이터 요구량을 크게 줄였음에도 불구하고, 단지 다섯 장의 입력 이미지로도 현실적인 새로운 뷰와 재조명 결과를 생성한다.
• 도메인 적응 모듈은 실제 포트레이트에서의 렌더링 품질을 향상시켜, 기존 방법에서 관찰된 아티팩트와 구멍 무늬를 감소시켰다.
• SIPR+IBRNet 및 IBRNet+SIPR와 같은 베이스라인 방법은 분포 이탈과 모듈 불일치로 인해 실제 데이터에서 눈에 띄는 아티팩트와 구멍을 유발한다.
• 모델은 다양한 실제 포트레이트에 대해 잘 일반화되며, 돌린 환경 맵와 목표 환경 맵를 포함한 복잡한 조명 변화를 잘 처리한다.
• 일부 한계점(예: 미세한 색상 이동과 블러)이 존재하지만, NeLF는 실제 세계 데이터에서 강력한 강건성과 일반화 능력을 보였다.