[논문 리뷰] Deep Outdoor Illumination Estimation

Yannick Hold-Geoffroy, Kalyan Sunkavalli외 3명|arXiv (Cornell University)|2016. 11. 19.

Advanced Vision and Imaging참고 문헌 33인용 수 13

한 줄 요약

이 논문은 단일 저다이나믹 레인지(Low-Dynamic-Range, LDR) 이미지에서 고다이나믹 레인지(High-Dynamic-Range, HDR) 실외 조명을 추정하기 위한 딥 컨volution 네트워크 기반 방법을 제안한다. 넓은 범위의 실외 파ano라마 데이터베이스를 활용하고, 물리 기반의 Hošek-Wilkie 하늘 모델을 적합시켜 HDR 조명 파라미터를 추출함으로써, 네트워크는 태양 위치, 대기 투명도, 카메라 캘리브레이션을 예측하게 되어, 최신 기술 수준의 정확도로 사진처럼 생생한 가상 객체 삽입을 가능하게 한다.

ABSTRACT

We present a CNN-based technique to estimate high-dynamic range outdoor illumination from a single low dynamic range image. To train the CNN, we leverage a large dataset of outdoor panoramas. We fit a low-dimensional physically-based outdoor illumination model to the skies in these panoramas giving us a compact set of parameters (including sun position, atmospheric conditions, and camera parameters). We extract limited field-of-view images from the panoramas, and train a CNN with this large set of input image--output lighting parameter pairs. Given a test image, this network can be used to infer illumination parameters that can, in turn, be used to reconstruct an outdoor illumination environment map. We demonstrate that our approach allows the recovery of plausible illumination conditions and enables photorealistic virtual object insertion from a single image. An extensive evaluation on both the panorama dataset and captured HDR environment maps shows that our technique significantly outperforms previous solutions to this problem.

연구 동기 및 목표

• 장면 기하학, 재질, 조명 효과가 혼합된 상태에서 발생하는 정의되지 않은 문제로 인해 단일 LDR 이미지에서 전체 HDR 실외 조명을 추정하는 과제를 해결한다.
• 큰 규모의 쌍체 LDR 이미지와 진정한 HDR 조명 데이터를 갖춘 데이터셋의 부족을 보완하기 위해, 대규모 파ano라마 데이터베이스에서 HDR 파라미터를 합성함으로써 효과적인 CNN 학습을 가능하게 한다.
• 기하학적 또는 재질에 대한 강력한 사전 지식에 의존하지 않고도 다양한 실외 환경에 일반화 가능한 방법을 개발한다.
• 이미지 기반 조명 및 3D 객체 재조명에 사용 가능한 단일 입력 이미지에서 완전한 HDR 환경 맵을 엔드 투 엔드로 예측할 수 있도록 한다.

제안 방법

• 학습 데이터로 360° 실외 파ano라마로 구성된 SUN360 데이터베이스를 사용하여, 입력 LDR 이미지를 시뮬레이션하기 위해 제한된 시야(FOV) 이미지를 추출한다.
• 각 파ano라마의 가시 하늘 영역에 물리 기반 Hošek-Wilkie 하늘 모델을 적합시켜 태양 위치, 대기 투명도, 카메라 캘리브레이션(기하학적 및 레지오메트릭)과 같은 압축된 물리적 의미를 갖는 HDR 조명 파라미터를 추출한다.
• 쌍체 이미지-파라미터 데이터를 사용하여, 입력 LDR 이미지에서 추출된 HDR 조명 파라미터로 회귀하는 딥 컨volution 신경망(CNN)을 학습한다.
• 추론 시점에 예측된 파라미터로부터 HDR 하늘 환경 맵을 재구성하여 3D 객체의 사진처럼 생생한 재조명을 가능하게 한다.
• 하늘 모델의 물리적 타당성을 활용하여, 파ano라마의 포화 영역에서도 예측된 조명 조건이 일관되고 정확하도록 보장한다.
• 학습된 CNN을 실제 세계의 LDR 이미지에 적용하고, 현장에서 촬영한 진정한 HDR 파ano라마와의 비교를 통해 재조명 결과를 평가한다.

실험 결과

연구 질문

• RQ1 기하학적 또는 재질에 대한 명시적 사전 지식 없이도, 단일 LDR 이미지에서 전체 HDR 실외 조명을 효과적으로 예측할 수 있는 딥 CNN이 개발될 수 있는가?
• RQ2 물리 기반의 하늘 모델(Hošek-Wilkie)을 사용하여 저다이나믹 레인지 파ano라마에서 정확한 HDR 조명 파라미터를 합성하여 효과적인 CNN 학습을 가능하게 할 수 있는가?
• RQ3 3D 객체의 사진처럼 생생한 재조명에서 예측된 조명은 진정한 HDR 파ano라마와 비교해 얼마나 우수한가?
• RQ4 복잡한 기하학, 부족한 조명 신호 또는 반사성 표면이 있는 경우, 이 방법의 실패 원인은 무엇인가?

주요 결과

• 제안된 방법은 SUN360 파ano라마 데이터셋과 현장에서 촬영한 HDR 파ano라마를 대상으로 한 검증을 통해 이전의 접근 방식보다 크게 뛰어난 HDR 실외 조명 추정 성능을 보였다.
• CNN에 의해 예측된 조명 조건은 최소한의 후처리로도 사진처럼 생생한 3D 모델(예: 토끼)의 재조명을 가능하게 하였으며, 그림 11에서 렌더링된 객체가 진정한 재조명 결과와 유사하게 나타났다.
• 시험 케이스의 85%에서 태양 위치 추정이 정확했지만, 복잡한 기하학, 그림자, 반사성 표 superficies로 인해 조명 신호가 가려진 경우 실패가 발생했다.
• 노출 파라미터 ω는 평균적으로 略적으로 과대 추정되어 렌더링 결과가 진짜보다 略적으로 밝아졌지만, 전반적인 시각적 품질은 매우 높았다.
• Hošek-Wilkie 모델은 맑은 하늘 조건에서는 높은 정확도를 제공하지만, 흐린 날씨에서는 투명도를 과소 추정하여 예측 결과가 항상 맑은 하늘을 지향하는 경향이 있었다.
• 이 방법은 하늘 반구 전체에 대한 완전한 HDR 환경 맵을 생성하여 현실적인 확산 조명을 가능하게 하지만, 반사광은 캡처하지 못하며 추가 후처리가 필요할 수 있다.