[논문 리뷰] DeLTra: Deep Light Transport for Projector-Camera Systems

Bingyao Huang, Haibin Ling|arXiv (Cornell University)|2020. 03. 06.

Advanced Vision and Imaging참고 문헌 49인용 수 4

한 줄 요약

DeLTra는 영상 기반 재조명, 프로젝터 보정, 깊이/노멀 재구성에 통합적으로 적용할 수 있는, 방사계로 校정되지 않은 프로젝터-카메라 빛 전달을 위한 엔드 투 엔드 학습 가능한 딥러닝 프레임워크이다. 레이/깊이/노멀 추정을 위한 DepthToAttribute 모듈과 포토레얼리스틱 렌더링을 위한 CNN 기반 ShadingNet을 결합하며, 유효성 검증을 위한 에피포라 제약 조건을 기반으로 한 미분 가능한 직접 빛 마스크를 도입하여 음영 처리를 처리함으로써, 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In projector-camera systems, light transport models the propagation from projector emitted radiance to camera-captured irradiance. In this paper, we propose the first end-to-end trainable solution named Deep Light Transport (DeLTra) that estimates radiometrically uncalibrated projector-camera light transport. DeLTra is designed to have two modules: DepthToAtrribute and ShadingNet. DepthToAtrribute explicitly learns rays, depth and normal, and then estimates rough Phong illuminations. Afterwards, the CNN-based ShadingNet renders photorealistic camera-captured image using estimated shading attributes and rough Phong illuminations. A particular challenge addressed by DeLTra is occlusion, for which we exploit epipolar constraint and propose a novel differentiable direct light mask. Thus, it can be learned end-to-end along with the other DeLTra modules. Once trained, DeLTra can be applied simultaneously to three projector-camera tasks: image-based relighting, projector compensation and depth/normal reconstruction. In our experiments, DeLTra shows clear advantages over previous arts with promising quality and meanwhile being practically convenient.

연구 동기 및 목표

• 프로젝터-카메라 시스템에서 보정이 불가능하거나 오류가 발생하기 쉬운 방사계로 校정되지 않은 빛 전달 문제를 해결한다.
• 명시적인 3차원 기하학에 의존하지 않고도 음영 처리를 모델링하는 데 어려움을 극복한다.
• 깊이, 노멀, 조명 속성의 공동 최적화를 통해 정확한 이미지 합성을 위한 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.
• 이미지 기반 재조명, 프로젝터 보정, 깊이/노멀 재구성이라는 프로젝터-카메라의 세 가지 핵심 과제에 대해 통합된 응용을 가능하게 한다.

제안 방법

• 입력 깊이 이미지로부터 레이, 깊이, 표면 노멀을 명시적으로 추정하고, 근사적인 Phong 조명 모델을 생성하기 위해 DepthToAttribute 모듈을 제안한다.
• 에피포라 기하학에 기반한 미분 가능한 직접 빛 마스크를 도입하여 음영 처리를 모델링하고, 음영 경계를 통해 엔드 투 엔드 역전파를 가능하게 한다.
• 추정된 조명 속성과 근사적인 Phong 조명을 융합하여 카메라로 촬영된 포토레얼리스틱 이미지를 렌더링하는 CNN 기반 ShadingNet을 설계한다.
• 깊이, 노멀, 조명 파rameter의 공동 최적화를 가능하게 하기 위해, 모든 DeLTra 시스템을 미분 가능한 렌더링 손실을 사용해 엔드 투 엔드로 훈련시킨다.
• 에피포라 제약 조건을 활용하여 빛 가시성 추정에서 기하학적 일致성을 강제함으로써 음영 처리에 대한 강건성을 향상시킨다.
• 훈련 중에 재조명, 보정, 재구성 과제를 동시에 최적화할 수 있도록 다중 작업 학습 목표를 사용한다.

실험 결과

연구 질문

• RQ1 보정이 필요 없는 방사계로 校정되지 않은 프로젝터-카메라 빛 전달을 효과적으로 모델링할 수 있는 엔드 투 엔드 미분 가능한 프레임워크는 존재하는가?
• RQ2 학습된 빛 전달 모델은 실제 프로젝터-카메라 시스템에서 음영 처리를 얼마나 잘 처리할 수 있는가?
• RQ3 단일 통합 모델이 동시에 이미지 기반 재조명, 프로젝터 보정, 깊이/노멀 재구성 작업을 얼마나 잘 수행할 수 있는가?
• RQ4 에피포라 제약 조건에 기반한 미분 가능한 직접 빛 마스크는 기존 방법에 비해 음영 처리 모델링을 얼마나 향상시키는가?

주요 결과

• DeLTra는 방사계로 校정되지 않은 조건에서도 포토레얼리스틱 결과를 생성함으로써 이미지 기반 재조명 분야에서 최신 기술 수준의 성능을 달성한다.
• 미분 가능한 직접 빛 마스크는 음영 처리 처리 능력을 크게 향상시켜 더 정확한 빛 전달 추정을 가능하게 한다.
• 기존 방법에 비해 시각적 잡음이 줄어들어 실용적인 프로젝터 보정을 가능하게 한다.
• DeLTra는 고정밀도로 깊이와 표면 노멀을 성공적으로 재구성하여 다중 작업 능력을 입증한다.
• 엔드 투 엔드 훈련 체계는 모든 구성 요소의 공동 최적화를 가능하게 하여 일반화 능력과 강건성을 향상시킨다.
• 이 프레임워크는 재훈련이나 보정 없이도 여러 프로젝터-카메라 응용 분야에 실용적이고 쉽게 구현할 수 있다.