[논문 리뷰] Rotation-Equivariant Conditional Spherical Neural Fields for Learning a Natural Illumination Prior

James Gardner, Bernhard Egger외 1명|arXiv (Cornell University)|2022. 06. 07.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 1,600개의 HDR 환경 맵에서 자연 조명 사전을 학습하는 회전 등변 조건부 구면 신경망인 RENI를 제안한다. SIREN 기반 신경망과 벡터 뉴런을 통합하고 SO(2) 회전 등변성을 강제함으로써, RENI는 고정밀도, 고역역도 조명 맵을 생성하고, 최신 기술 수준의 일반화 능력을 갖춘 견고한 환경 복원 및 역조명을 가능하게 한다.

ABSTRACT

Inverse rendering is an ill-posed problem. Previous work has sought to resolve this by focussing on priors for object or scene shape or appearance. In this work, we instead focus on a prior for natural illuminations. Current methods rely on spherical harmonic lighting or other generic representations and, at best, a simplistic prior on the parameters. We propose a conditional neural field representation based on a variational auto-decoder with a SIREN network and, extending Vector Neurons, build equivariance directly into the network. Using this, we develop a rotation-equivariant, high dynamic range (HDR) neural illumination model that is compact and able to express complex, high-frequency features of natural environment maps. Training our model on a curated dataset of 1.6K HDR environment maps of natural scenes, we compare it against traditional representations, demonstrate its applicability for an inverse rendering task and show environment map completion from partial observations. A PyTorch implementation, our dataset and trained models can be found at jadgardner.github.io/RENI.

연구 동기 및 목표

• 역조명에서 자연 조명에 대한 통계적 사전이 부족하여 해가 불완전한 해법이 되는 문제를 해결하기 위해.
• 실제 세계의 조명 규칙성을 포착하는 고역역도 환경 맵의 압축성 있고 표현력 있으며 회전 등변인 표현을 개발하기 위해.
• 합리적인 자연 조명에 대한 사전을 학습하여 견고한 역조명 및 환경 맵 복원을 가능하게 하기 위해.
• 표면 조화 및 구면 가우시안과 같은 전통적 표현 방식의 한계를 극복하기 위해, 표현력 있는 사전가 없이 복잡한 고주파 조명을 모델링할 수 없기 때문이다.

제안 방법

• 이 방법은 SIREN 네트워크를 기반으로 한 조건부 신경망 아키텍처를 사용하며, 환경 맵의 잠재 공간을 모델링하기 위해 변동형 오토디코더를 활용한다.
• 수직 축(y축)을 중심으로 잠재 코드를 회전시켜 벡터 뉴런을 확장함으로써 SO(2) 회전 등변성을 강제한다. 이는 입력의 회전이 출력의 동일한 회전으로 반영되도록 보장한다.
• 네트워크는 등각도 투영을 통해 구면 신호 표현을 사용하며, 방향성 조명 정보를 캡슐화한 3×N 잠재 코드에 조건을 부여한다.
• 그램 행렬 레이어는 잠재 코드의 불변 표현을 계산하여, 회전 불변 비교 및 손실 계산을 가능하게 한다.
• 학습 데이터셋은 자연 풍경의 1,600개의 정제된 HDR 환경 맵으로 구성되며, 일반화 능력을 향상시키기 위해 무작위 회전을 통한 데이터 증강 기법을 사용한다.
• 모델는 입력 환경 맵의 정확한 재구성과 회전에 대한 일관된 잠재 공간 표현을 장려하는 복원 손실을 사용하여 훈련된다.

실험 결과

연구 질문

• RQ1 신경망 모델은 훈련 분포를 초월해 일반화 가능한 압축성 있고 표현력 있으며 회전 등변인 자연 HDR 환경 맵 사전을 학습할 수 있는가?
• RQ2 제안된 회전 등변 구면 신경망은 전통적 표현 방식인 SH 및 SG에 비해 역조명 및 환경 맵 복원에서 얼마나 우수한 성능을 보이는가?
• RQ3 학습된 사전은 실세계 조명의 고주파 조명 특징과 통계적 규칙성(예: 주로 위쪽을 향한 조명, 하늘 색상 제약 등)을 어느 정도 포착하는가?
• RQ4 모델의 잠재 공간은 조명의 분리 가능하고 해석 가능한 표현을 지원하는가? 이는 회전 변환에 대해 일관된 재구성 가능성을 보장하는가?

주요 결과

• RENI는 임의의 잠재 샘플에서 현실적인 고역역도 환경 맵을 생성하여, 모델이 일관된 자연 조명 사전을 학습할 수 있음을 보여준다.
• 모델는 21개의 이미지 쌍 중 18개에서 약 2.0% 이내의 상대 오차로 회전된 환경 맵 쌍을 재구성하여 강력한 SO(2) 회전 등변성이 확인된다.
• RENI는 더 적은 파rameter로 전통적인 구면 조화 및 구면 가우시안 표현 방식보다 고주파 조명 특징을 더 잘 포착한다.
• 부분 관측에서 효과적인 환경 맵 복원을 가능하게 하여, 누락된 데이터에 대한 견고성과 새로운 환경으로의 일반화 능력을 보여준다.
• 강력한 사전에도 불구하고 RENI는 실내 환경으로의 일반화 능력이 합리적으로 유지되지만, 도메인 분리로 인해 실외 환경에 비해 성능이 저하된다.
• 잠재 공간은 일부 경우에 다중성(중복성)을 보이며, 동일한 환경를 나타내는 여러 잠재 코드가 존재함을 시사한다. 이는 향후 정규화 또는 차원 수 조정 향상 가능성을 시사한다.