[논문 리뷰] Learning to Importance Sample in Primary Sample Space

Quan Zheng, Matthias Zwicker|arXiv (Cornell University)|2018. 08. 23.

Image and Signal Denoising Methods참고 문헌 31인용 수 6

한 줄 요약

이 논문은 기본 샘플 공간 내에서 비선형 워프를 학습하기 위해 Real NVP 신경망을 사용하는 블랙박스 중요도 샘플링 방법을 제안한다. 이 방법은 기존 렌더러를 수정하지 않고 몬테카를로 렌더링에서 분산을 감소시킨다. 최대우도 기반으로 시나리오에 따라 결정되는 샘플에 대해 훈련함으로써, 이 방법은 분산 감소를 크게 달성한다—예를 들어, 균일 샘플링보다 40% 낮은 MSE를 기록한다. 이 과정에서는 샘플 기각을 피하고, 명시적인 밀도 모델이나 시나리오 데이터 구조가 필요로 하지 않는다.

ABSTRACT

Importance sampling is one of the most widely used variance reduction strategies in Monte Carlo rendering. In this paper, we propose a novel importance sampling technique that uses a neural network to learn how to sample from a desired density represented by a set of samples. Our approach considers an existing Monte Carlo rendering algorithm as a black box. During a scene-dependent training phase, we learn to generate samples with a desired density in the primary sample space of the rendering algorithm using maximum likelihood estimation. We leverage a recent neural network architecture that was designed to represent real-valued non-volume preserving ('Real NVP') transformations in high dimensional spaces. We use Real NVP to non-linearly warp primary sample space and obtain desired densities. In addition, Real NVP efficiently computes the determinant of the Jacobian of the warp, which is required to implement the change of integration variables implied by the warp. A main advantage of our approach is that it is agnostic of underlying light transport effects, and can be combined with many existing rendering techniques by treating them as a black box. We show that our approach leads to effective variance reduction in several practical scenarios.

연구 동기 및 목표

• 기본 샘플 공간에서 시나리오에 특화된 중요도 샘플링 분포를 학습함으로써 몬테카를로 경로 추적의 분산을 줄이는 것.
• 기존 렌더러를 블랙박스로 취급하여 분석적 빛 전달 모델에 의존하지 않는 방법을 개발하는 것.
• 기본 샘플 공간의 미분 가능하고 역행 가능한 변환을 학습함으로써 효율적이고 기각 없는 샘플링을 가능하게 하는 것.
• 신경망 기반 워프가 복잡한 조명 환경에서 균일 샘플링 및 전통적 중요도 샘플링 기법보다 우수한 성능을 낼 수 있음을 입증하는 것.

제안 방법

• 이 방법은 기본 샘플 공간에서 균일 분포에서 원하는 비균일 목표 밀도로의 비체적 보존적, 역행 가능한 변환을 학습하기 위해 Real NVP 신경망을 사용한다.
• 네트워크는 원래 렌더러가 생성한 훈련 샘플 세트를 기반으로 최대우도 추정법을 통해 훈련된다.
• Real NVP는 워프의 자코비안 행렬식을 효율적으로 계산할 수 있어 몬테카를로 적분에서의 변수 변경이 정확하게 이루어진다.
• 학습된 워프는 渲染 중에 적용되어 목표 밀도에서 샘플을 생성함으로써 편향 없이 분산을 감소시킨다.
• 이 접근법은 기반 빛 전달 효과에 영향을 받지 않아 BRDF, 환경 맵, 가시성 등 다양한 구성 요소와 호환된다.
• 이 방법은 오кт리 등 명시적 데이터 구조를 사용하지 않으며, 밀도 정보를 직접 신경망 파라미터에 인코딩한다.

실험 결과

연구 질문

• RQ1 렌더러의 내부 논리에 접근할 수 없는 조건에서 신경망이 기본 샘플 공간에서 효과적이고 시나리오에 따라 결정되는 중요도 샘플링 분포를 학습할 수 있는가?
• RQ2 이 블랙박스 접근법은 복잡한 조명 환경에서 균일 샘플링 및 전통적 중요도 샘플링과 비교해 어떻게 성능을 내는가?
• RQ3 샘플 기각이나 추가 데이터 구조 없이도 이 방법이 상당한 분산 감소를 달성할 수 있는가?
• RQ4 훈련 데이터 크기와 네트워크 용량이 학습된 밀도의 정확도에 어떤 영향을 미치는가?
• RQ5 이 방법은 간접 조명, 렌즈 심도, 운동 흐림 등의 다양한 렌더링 효과에 일반화될 수 있는가?

주요 결과

• 어려운 1번의 간접 조명 시나리오에서 이 방법은 평균 제곱 오차(MSE) 0.0016813을 달성했으며, 동일한 샘플 수 기반 기준선(0.0052876)과 동일한 렌더링 시간 기반 기준선(0.0027032)을 모두 초월했다.
• 비표준 방법이 어려워하는 비가시 빛원천에서의 간접 조명이 있는 시나리오에서도 분산 감소 효과가 뚜렷했다.
• 편향 없이 렌더링 오차를 크게 감소시켰으며, 2시간 분량의 기준 이미지와의 비교를 통해 확인되었다.
• PSS-MLT와 달리 샘플 기각 없이도 이 결과를 달성했다.
• 훈련 시간은 수 분 수준이었고, 워프 평가의 런타임 비용은 경로 추적 비용의 극히 작은 비율이었기 때문에 고품질 렌더링에 실용적이다.
• 이 방법은 빛 전달 효과에 영향을 받지 않으며, 렌즈 샘플링, 시간 샘플링, 매질 내 산란 등으로도 확장 가능하다.