[논문 리뷰] All-Weather Deep Outdoor Lighting Estimation

Jinsong Zhang, Kalyan Sunkavalli외 4명|arXiv (Cornell University)|2019. 06. 12.

Image Enhancement Techniques참고 문헌 21인용 수 10

한 줄 요약

이 논문은 다양한 기상 조건에서 단일 LDR 이미지로부터 HDR 실외 조명을 추정하기 위한 딥러닝 프레임워크를 제안한다. PanoNet은 LDR 풍경 사진에서 Lalonde-Matthews 하늘 모델의 매개변수를 회귀하는 CNN으로, 새로운 렌더링 손실을 사용하여 정확한 하늘 외관과 물체 렌더링을 가능하게 한다. CropNet은 PanoNet로 레이블링된 데이터를 기반으로 훈련된 두 번째 네트워크로, 햇빛이 강한 날과 흐린 날 모두에서 기존 방법들을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

We present a neural network that predicts HDR outdoor illumination from a single LDR image. At the heart of our work is a method to accurately learn HDR lighting from LDR panoramas under any weather condition. We achieve this by training another CNN (on a combination of synthetic and real images) to take as input an LDR panorama, and regress the parameters of the Lalonde-Matthews outdoor illumination model. This model is trained such that it a) reconstructs the appearance of the sky, and b) renders the appearance of objects lit by this illumination. We use this network to label a large-scale dataset of LDR panoramas with lighting parameters and use them to train our single image outdoor lighting estimation network. We demonstrate, via extensive experiments, that both our panorama and single image networks outperform the state of the art, and unlike prior work, are able to handle weather conditions ranging from fully sunny to overcast skies.

연구 동기 및 목표

• 단일 LDR 이미지로부터 HDR 실외 조명을 추정하는 것은 기상 조건의 다양성과 기존 매개변수 모델의 한계로 인해 부족한 문제이므로 이를 해결하고자 한다.
• 기존 방법들이 햇빛이 강한 하늘에 편향되어 있음을 고려하여, 흐린 하늘 및 혼합 기상 조건을 정확히 표현할 수 있는 모델을 개발하고자 한다.
• 합성 데이터와 실제 데이터의 조합을 통해 다양한 조명 조건에서 일반화할 수 있는 강력한 네트워크를 훈련하고자 한다.
• 예측된 조명과 진짜 조명 하에서 렌더링된 시cene의 외관을 일치시키는 데 초점을 맞춘 새로운 렌더링 기반 손실 함수를 도입하여 일반화 성능을 향상시키고자 한다.
• 이해할 수 있고 매개변수화된 조명 추정을 가능하게 하여 이미지 편집 및 증강 현실과 같은 실용적 응용을 지원하고자 한다.

제안 방법

• 두 단계로 구성된 딥러닝 파이프라인을 제안한다: 먼저, PanoNet이 합성 및 실제 이미지의 혼합 데이터셋을 사용하여 LDR 풍경 사진에서 HDR 조명 매개변수를 추정한다.
• PanoNet은 예측된 조명과 진짜 조명 하에서 렌더링된 시cene 간의 차이를 최소화하는 새로운 렌더링 손실을 사용하여 훈련되며, 이는 하늘 외관 일치만을 고려하는 것보다 더 현실적인 결과를 도모한다.
• Lalonde-Matthews 하늘 모델은 흐린 하늘부터 맑은 하늘에 이르기까지 다양한 기상 조건을 모델링할 수 있어, 기반 매개변수 표현으로 사용된다.
• PanoNet를 사용하여 자동으로 HDR 조명 매개변수로 레이블링된 대규모 LDR 풍경 사진 데이터셋을 구축하여 두 번째 네트워크의 훈련을 가능하게 한다.
• CropNet은 단일 제한된 시야의 이미지 조각에서 조명 매개변수를 추정하도록 훈련되어 표준 사진에서의 추론을 가능하게 한다.
• 이 방법은 하늘 외관과 물체 렌더링의 정확성이라는 두 가지 지도 신호를 활용하여, 하늘 색상에 대한 과적합을 줄이고 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 흐린 하늘과 흐린 하늘을 포함한 모든 기상 조건에서 단일 LDR 이미지로부터 HDR 실외 조명을 정확히 추정할 수 있는가?
• RQ2 예측된 조명 하에서 시cene의 외관을 일치시키는 렌더링 기반 손실 함수는 하늘 외관만을 고려하는 지도 신호보다 일반화 성능을 향상시키는가?
• RQ3 Lalonde-Matthews와 같이 다양한 기상 조건을 지원하는 매개변수 기반 하늘 모델은 Hošek-Wilkie와 같은 덜 표현력 있는 모델보다 실제 추정 작업에서 더 우수한 성능을 낼 수 있는가?
• RQ4 합성 데이터와 실제 데이터의 조합이 예측할 수 없는 기상 조건에서의 조명 추정의 강건성을 얼마나 향상시키는가?
• RQ5 이 방법은 동일한 풍경 사진에서 추출된 다양한 시점과 국소 이미지 조각에 대해 얼마나 잘 일반화되는가?

주요 결과

• PanoNet은 흐린 하늘 및 부분적으로 흐린 하늘 조건에서 기존 방법들보다 뚜렷이 뛰어난 성능을 보이며, LDR 풍경 사진에 HDR 조명 매개변수를 레이블링한다.
• CropNet은 단일 이미지 조명 추정에서 최신 기술 성능을 달성했으며, [9]보다 낮은 RMSE 및 si-RMSE를 기록했으며, 특히 비맑은 날 외의 기상 조건에서 뛰어난 성능을 보였다.
• 렌더링 손실은 더 현실적인 그림자 렌더링과 물체 조명의 일관성을 향상시켜 복합 시나리오에서의 아티팩트를 감소시켰다.
• 동일한 풍경에서 다양한 시점으로 일반화가 잘 되었으며, CropNet은 국소 조명 변화에 자연스럽게 적응하였다.
• 개선된 성능에도 불구하고, 모델은 부드러운 그림자를 처리하는 데 어려움을 겪고 있으며, GRAY 하늘을 과대평가하는 경향이 있어 훈련 데이터의 편향이 존재함을 시사한다.
• 정성적인 결과는 그림 1, 9, 10에서 보여지듯이 맑은 하늘에서 흐린 하늘에 이르기까지 다양한 조건에서 일관되고 현실적인 조명 추정을 보였다.