[논문 리뷰] EMLight: Lighting Estimation via Spherical Distribution Approximation

Fangneng Zhan, Changgong Zhang외 5명|arXiv (Cornell University)|2020. 12. 21.

Advanced Vision and Imaging참고 문헌 36인용 수 13

한 줄 요약

EMLight는 구면 분포 회귀 문제로 조명을 공식화하는 혁신적인 조명 추정 프레임워크를 제안한다. 이를 위해 지구 이동 거리에 영감을 받은 구면 이동자 손실(SML)을 사용하여 단위 구면 위의 조도 분포를 정확하게 회귀한다. 구면 컨볼루션을 사용하는 회귀 네트워크와 신경 프로젝터를 조합함으로써 EMLight는 최신 기술 대비 더 높은 품질의 HDR 조명 맵과 현실적인 주파수 및 개선된 그림자 품질을 생성한다.

ABSTRACT

Illumination estimation from a single image is critical in 3D rendering and it has been investigated extensively in the computer vision and computer graphic research community. On the other hand, existing works estimate illumination by either regressing light parameters or generating illumination maps that are often hard to optimize or tend to produce inaccurate predictions. We propose Earth Mover Light (EMLight), an illumination estimation framework that leverages a regression network and a neural projector for accurate illumination estimation. We decompose the illumination map into spherical light distribution, light intensity and the ambient term, and define the illumination estimation as a parameter regression task for the three illumination components. Motivated by the Earth Mover distance, we design a novel spherical mover's loss that guides to regress light distribution parameters accurately by taking advantage of the subtleties of spherical distribution. Under the guidance of the predicted spherical distribution, light intensity and ambient term, the neural projector synthesizes panoramic illumination maps with realistic light frequency. Extensive experiments show that EMLight achieves accurate illumination estimation and the generated relighting in 3D object embedding exhibits superior plausibility and fidelity as compared with state-of-the-art methods.

연구 동기 및 목표

• 조명을 구면 분포로 모델링하여 단일 이미지 조명 추정의 과소 결정 문제를 해결한다.
• 기존 방법들이 조명 파라미터를 회귀하거나 맵을 직접 생성하는 데서 비롯되는 한계를 극복하여 고주파 조명 세부 정보를 잘 유지하지 못하는 문제를 해결한다.
• 구면 분포의 공간적 구조를 활용하여 조명 소스의 정확한 위치 파악과 그림자 현실감을 향상시킨다.
• 구면 컨볼루션을 사용하는 신경 프로젝터를 개발하여 추정된 파라미터에서 패ano라믹 고해상도 조명 맵을 생성한다.
• 최신 기술 대비 정량적이고 정성적인 평가를 통해 리라이팅 품질에서 뛰어난 성능을 입증한다.

제안 방법

• 조명 맵을 세 가지 구성요소로 분해한다: 구면 조명 분포, 조도 세기, 애매한 항목으로 구조화된 회귀를 수행한다.
• 단위 구면 상의 N개의 이산적 임계점(앵커 포인트)을 사용하여 조명원의 에너지 분포를 표현한다.
• 지구 이동 거리에서 영감을 받은 새로운 구면 이동자 손실(SML)을 도입하여 한 구면 분포를 다른 구면 분포로 변환하기 위해 필요한 최소 라디안 거리를 측정함으로써 공간적 관계를 포착한다.
• 세 가지 조명 구성요소를 예측하기 위해 회귀 네트워크를 사용한다: SML을 통한 조명 분포, L2 손실을 통한 조도 세기, L2 손실을 통한 애매한 항목.
• 대부분의 훈련 설정에서 적대적 훈련을 통해 구면 컨볼루션을 사용하는 신경 프로젝터를 활용하여 현실적인 HDR 패노라믹 조명 맵을 생성한다.
• 패ano라믹 이미지 생성에서 내재된 구면 왜곡을 처리하기 위해 구면 컨볼루션을 적용함으로써 고위도 지역에서의 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 기존의 기능적 표현 방식과 비교해 조명을 구면 분포로 모델링하면 조명 추정 정확도가 향상되는가?
• RQ2 구면 이동자 손실(SML)이 기존의 L2나 교차 엔트로피 손실보다 이산적인 구면 조명 분포를 회귀하는 데서 더 우수한 성능을 보이는가?
• RQ3 구면 컨볼루션을 사용하는 신경 프로젝터가 추정된 파라미터에서 고해상도이고 현실적인 HDR 조명 맵을 생성할 수 있는가?
• RQ4 앵커 포인트 수의 선택이 구면 분포 회귀 성능에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크가 최신 기술 대비 3D 객체 렌더링에서 리라이팅 품질을 얼마나 향상시키는가?

주요 결과

• EMLight(SD+SML+NP)는 L2 손실이나 구면 가우시안 파라미터화를 사용하는 변종보다 최고의 성능을 기록한다.
• 구면 이동자 손실(SML)은 공간적 구조를 효과적으로 포착함으로써 교차 엔트로피나 L2 손실보다 조명 분포 회귀 성능을 크게 향상시킨다.
• 구면 컨볼루션은 표준 컨볼루션보다 패노라믹 조명 맵 생성에서 더 뛰어난 성능을 보이며, 특히 구면 전역에서 고주파 세부 정보를 잘 유지한다.
• 128개의 앵커 포인트가 최적의 성능을 낸다. 196개로 증가시키는 것은 성능 향상에 기여하지 않으며 과도한 파rameter화로 인해 정확도가 떨어질 수 있다.
• 정성적 결과에서 EMLight는 명확하고 정확한 그림자와 잘 정렬된 조명 소스를 가진 현실적인 조명을 생성하는 반면, 기준 모델들은 일반적으로 단순화되거나 흐릿한 조명 맵을 생성한다.
• 리라이팅 작업에서 EMLight는 최신 기술 대비 더 현실적이고 고해상도의 렌더링을 생성하며, 특히 복잡한 그림자 효과와 그림자 표현을 잘 포착한다.