[논문 리뷰] InverseRenderNet: Learning single image inverse rendering

Ye Yu, William A. P. Smith|arXiv (Cornell University)|2018. 11. 29.

Advanced Vision and Imaging참고 문헌 45인용 수 8

한 줄 요약

InverseRenderNet은 자기지도 학습을 통해 실외 자연 이미지에서 알베도, 노말 매핑, 구형 조명을 추정하는 단일 이미지 역렌더링을 수행하는 최초의 딥러닝 접근법이다. 다중뷰 스테레오(MVS) 복원을 기하학적 지도로 활용하고 통계적 조명 사전을 적용하여, 지도 데이터가 없는 조건에서도 노말 추정에서 최고 성능을 기록하고, 경쟁적인 알베도 예측을 실현함으로써 단일 이미지에서 현실적인 재조명을 가능하게 한다.

ABSTRACT

We show how to train a fully convolutional neural network to perform inverse rendering from a single, uncontrolled image. The network takes an RGB image as input, regresses albedo and normal maps from which we compute lighting coefficients. Our network is trained using large uncontrolled image collections without ground truth. By incorporating a differentiable renderer, our network can learn from self-supervision. Since the problem is ill-posed we introduce additional supervision: 1. We learn a statistical natural illumination prior, 2. Our key insight is to perform offline multiview stereo (MVS) on images containing rich illumination variation. From the MVS pose and depth maps, we can cross project between overlapping views such that Siamese training can be used to ensure consistent estimation of photometric invariants. MVS depth also provides direct coarse supervision for normal map estimation. We believe this is the first attempt to use MVS supervision for learning inverse rendering.

연구 동기 및 목표

• 지도 데이터가 없는 비제어적 실외 환경에서 단일 이미지 역렌더링의 과도하게 불완전한 문제를 해결하기 위해.
• 자기지도 학습을 통해 실세계 이미지에서 알베도, 노말 매핑, 조명을 종단간(end-to-end)으로 학습하기 위해.
• 다중뷰 스테레오(MVS) 복원을 단일 이미지 역렌더링의 기하학적 지도로 활용하여, 단일 이미지 추정의 모호성을 해결하기 위해.
• 자연 조명의 통계적 사전을 개발하여 학습 과정을 정규화하기 위해.
• 합성 데이터나 미세조정 없이도 복잡한 실세계 환경에 일반화되는 첫 번째 종단간 역렌더링 시스템을 구현하기 위해.

제안 방법

• 완전 컨volution 신경망이 단일 RGB 이미지를 입력으로 받아 확산 알베도와 노말 매핑을 회귀한다.
• 예측된 알베도와 노말 매핑에서 최소 제곱 최적의 구형 조명 계수를 계산한다.
• 가능한 렌더러를 통해 예측된 알베도, 노말, 조명에서 입력 이미지를 재구성함으로써 자기지도 학습을 가능하게 하며, 광학적 손실을 사용한다.
• MVS는 대규모 이미지 컬렉션에 대해 오프라인으로 적용되어 깊이와 자세를 복원하며, 겹치는 뷰 간의 광학적 불변성을 교차 투영하여 시아미즈 학습을 가능하게 한다.
• MVS 깊이 매핑은 노말 매핑 추정에 대해 근사 지도를 제공하여 기하학적 일관성을 향상시킨다.
• 실세계 구형 조명 계수에서 학습된 자연 조명의 통계적 사전을 통해 조명 예측을 정규화한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 지도 데이터 없이도 실재의 제어되지 않은 실외 이미지에서 단일 이미지로 역렌더링을 수행할 수 있는가?
• RQ2 다중뷰 스테레오 복원이 단일 이미지 역렌더링에 효과적인 기하학적 지도를 제공할 수 있는가?
• RQ3 다중 뷰 간의 광학적 불변성을 시아미즈 학습을 통해 알베도 및 노말 추정의 일관성에 적용할 수 있는가?
• RQ4 자연 조명에 대한 통계적 사전을 통합함으로써 역렌더링의 현실성과 정확도가 향상되는가?
• RQ5 결과로 도출된 네트워크는 단일 이미지에서 안정적이고 현실적인 재조명 결과를 생성할 수 있는가?

주요 결과

• MegaDepth 벤치마크에서 노말 매핑 추정 성능이 최고로, 평균 각도 오차는 37.7°이며 중앙값은 34.8°이다.
• IIW 데이터셋에 대해 미세조정되지 않은 방법들 중 두 번째로 뛰어난 성능을 기록하였으며, 알베도 예측에서 DSSIM은 0.201, MSE는 0.0170을 기록하였다.
• 새로운 조명 조건을 사용하여 현실적인 재조명 결과를 생성하였으며, 이는 역렌더링 출력의 안정성과 현실성을 입증한다.
• MVS 지도의 사용은 노말 매핑 추정 성능 향상으로 이어졌으며, 이러한 지도 없이 학습된 기준 모델 대비 성능 향상을 입증하였다.
• 통계적 조명 사전은 조명 추정의 현실성을 향상시켰으며, 재조명 결과의 일관성으로 이를 입증하였다.
• 이 방법은 복잡한 실세계 환경에 잘 일반화되며, 합성 데이터나 미세조정 없이도 비제어적 실외 환경에 대해 첫 번째 성공적인 종단간 역렌더링 시스템을 구현하였다.