[논문 리뷰] DeepLight: Learning Illumination for Unconstrained Mobile Mixed Reality

Chloe LeGendre, Wan‐Chun Ma외 5명|arXiv (Cornell University)|2019. 04. 02.

Advanced Vision and Imaging참고 문헌 57인용 수 4

한 줄 요약

DeepLight는 단일 저역동 범위(Low Dynamic Range, LDR) 모바일 카메라 이미지에서 고역동 범위(High Dynamic Range, HDR)이자 전방위적 조명을 추론하기 위해 깊이 학습 기반 방법을 제안한다. 다양한 재질의 반사 구체 세 개를 사용하여 조명 정보를 드러내며, 20만 개의 LDR 영상 데이터를 기반으로 훈련한다. 이는 유도적 영상 기반 재조명과 적대적 손실을 통해 HDR 조명으로의 회귀를 수행하며, 스마트폰에서 실시간 추론을 구현하고 실내 및 실외 환경에서 이전 방법들보다 뛰어난 현실감을 구현한다.

ABSTRACT

We present a learning-based method to infer plausible high dynamic range (HDR), omnidirectional illumination given an unconstrained, low dynamic range (LDR) image from a mobile phone camera with a limited field of view (FOV). For training data, we collect videos of various reflective spheres placed within the camera's FOV, leaving most of the background unoccluded, leveraging that materials with diverse reflectance functions reveal different lighting cues in a single exposure. We train a deep neural network to regress from the LDR background image to HDR lighting by matching the LDR ground truth sphere images to those rendered with the predicted illumination using image-based relighting, which is differentiable. Our inference runs at interactive frame rates on a mobile device, enabling realistic rendering of virtual objects into real scenes for mobile mixed reality. Training on automatically exposed and white-balanced videos, we improve the realism of rendered objects compared to the state-of-the art methods for both indoor and outdoor scenes.

연구 동기 및 목표

• 한정된 시야를 가진 단일 비제약적 저역동 범위(Low Dynamic Range, LDR) 모바일 카메라 이미지에서 타당하고 전방위적 고역동 범위(High Dynamic Range, HDR) 조명을 추정하는 문제를 해결하기 위해.
• 실내 및 실외 환경 모두에서 공개된 쌍체 LDR 및 HDR 훈련 데이터의 부족을 해결하기 위해.
• 실제 혼합현실 합성에 적합한 고해상도 조명 추정을 스마트폰에서 실시간으로 가능하게 하기 위해.
• 추론 시 HDR 파ano라마나 장면별 캘리브레이션을 요구하지 않고 다양한 조명 조건에 일반화할 수 있도록 하기 위해.

제안 방법

• 모바일 카메라의 시야 내에 위치한 반사 구체 세 개(거울, 미세한 회색 확산, 금속성)의 영상 데이터를 수집하여, 한 번의 노출에서 다양한 조명 정보를 캡처한다.
• 훈련 중 예측된 조명 하에서 정확한 렌더링을 가능하게 하기 위해 각 구체의 반사율 필드를 측정한다.
• 구체 영역을 제외한 LDR 배경 이미지에서 HDR 조명 추정으로의 회귀를 수행하기 위해 컨volutional 신경망(Convolutional Neural Network, CNN)을 훈련한다.
• 유도적 영상 기반 재조명을 사용하여 예측된 조명 하에서 구체를 렌더링하고, 렌더링된 이미지와 진짜 이미지 간의 L2 손실을 최소화한다.
• 고주파 조명 복구를 향상시키고 주관적 현실감을 높이기 위해 적대적 손실을 통합한다.
• 훈련 중 인접한 영상 프레임의 시간적 일관성을 활용하여 시간적 안정성을 암묵적으로 정규화함으로써, 스마트폰 CPU에서 실시간 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 내장된 반사 구체를 가진 단일 LDR 모바일 이미지는 다양한 실내 및 실외 환경에서 정확한 HDR 조명 추정을 위한 충분한 단서를 제공할 수 있는가?
• RQ2 장면별 또는 HDR 풍경 촬영 데이터 없이도 딥러닝 모델이 실내 및 실외 환경 모두에 일반화될 수 있는가?
• RQ3 유도적 영상 기반 재조명과 적대적 훈련이 이전의 감독 기반 방법에 비해 추론된 조명의 현실감을 얼마나 향상시킬 수 있는가?
• RQ4 모델은 고성능 주관적 품질을 유지하면서도 스마트폰 하드웨어에서 실시간 추론을 수행할 수 있는가?
• RQ5 자동 노출 및 화이트 밸런스 설정과 같은 다양한 카메라 설정 하에서도 명시적 캘리브레이션 없이 이 방법은 어떻게 성능을 유지하는가?

주요 결과

• 450개 샘플 서브셋에서 RGB 상대 빔량 정확도를 측정한 결과, 실내 및 실외 환경 모두에서 조명 추정 분야에서 최신 기술 수준의 성능를 달성한다.
• 개별 훈련이나 도메인 적응 없이도 실내 및 실외 환경 간에 일반화된다.
• 스마트폰 CPU에서 12–20 fps로 추론 속도를 확보하여 소비자용 스마트폰에서 실시간 혼합현실 애플리케이션을 가능하게 한다.
• 다양한 재질의 반사 구체를 사용함으로써 한 번의 노출에서 고주파(예: 반사광) 및 저주파(예: 환경 조명) 조명 단서를 모두 캡처할 수 있다.
• 적대적 손실은 세밀한 조명 세부 정보 복구를 향상시켜 기준 방법 대비 더 현실적인 가상 오브제 렌더링을 가능하게 한다.
• 정성적 결과에서 렌더링된 가상 오브제가 동일한 환경 내 실제 3D 프린팅 및 페인팅된 오브제와 밀도 높은 유사성을 보이며, 개선된 주관적 현실감을 확인한다.