[논문 리뷰] Deep Scattering: Rendering Atmospheric Clouds with Radiance-Predicting Neural Networks

Simon Kallweit, Thomas Müller외 3명|arXiv (Cornell University)|2017. 09. 15.

Computer Graphics and Visualization Techniques참고 문헌 57인용 수 44

한 줄 요약

이 논문은 사전에 계산된 구름 산란 데이터를 기반으로 반사율 예측 신경망(RPNN)을 훈련시켜 빠르고 고품질의 대기권 구름 렌더링을 위한 딥러닝 기반 방법을 제안한다. 이 방법은 계층적인 3D 기하 기술자를 점진적으로 깊이 있는 신경망에 입력하고 잔여 연결을 사용하여 다중 산란 반사율을 예측하며, 초당에서 수분 내로 near-photorealistic 결과를 도출한다. 이는 경로 추적보다 훨씬 빠르면서도 애니메이션에 적합한 시간적 안정성을 유지한다.

ABSTRACT

We present a technique for efficiently synthesizing images of atmospheric clouds using a combination of Monte Carlo integration and neural networks. The intricacies of Lorenz-Mie scattering and the high albedo of cloud-forming aerosols make rendering of clouds---e.g. the characteristic silverlining and the "whiteness" of the inner body---challenging for methods based solely on Monte Carlo integration or diffusion theory. We approach the problem differently. Instead of simulating all light transport during rendering, we pre-learn the spatial and directional distribution of radiant flux from tens of cloud exemplars. To render a new scene, we sample visible points of the cloud and, for each, extract a hierarchical 3D descriptor of the cloud geometry with respect to the shading location and the light source. The descriptor is input to a deep neural network that predicts the radiance function for each shading configuration. We make the key observation that progressively feeding the hierarchical descriptor into the network enhances the network's ability to learn faster and predict with high accuracy while using few coefficients. We also employ a block design with residual connections to further improve performance. A GPU implementation of our method synthesizes images of clouds that are nearly indistinguishable from the reference solution within seconds interactively. Our method thus represents a viable solution for applications such as cloud design and, thanks to its temporal stability, also for high-quality production of animated content.

연구 동기 및 목표

• 고반사율, 다중 산란을 특징으로 하는 구름 렌더링에 대해 몬테카를로 경로 추적의 계산 비효율성을 해결하기 위해.
• 속도를 위해 시각적 정밀도를 희생하는 디퓨전 기반 근사의 한계를 극복하기 위해.
• 애니메이션 및 상호작용 디자인과 같은 애플리케이션에 실시간 및 제작 수준의 구름 렌더링을 가능하게 하기 위해.
• 렌더 타임에 모든 빛 전송을 시뮬레이션하지 않고도 실제 구름 예시에서 복잡한 산란 행동을 학습하는 데이터 기반 방법을 개발하기 위해.

제안 방법

• 경로 추적을 사용해 수십 개의 구름 예시에 대해 반사율 분포를 사전 계산하여 훈련 데이터셋을 구축한다.
• 각 셰이딩 포인트에서 빛 원천과 시야 방향에 대해 상대적인 구름 기하 기하 기술자를 계층적으로 추출한다.
• 계층적 기술자를 점진적으로 깊이 신경망에 입력하여 특징 학습과 예측 정확도를 향상시킨다.
• 잔여 연결과 미프맵핑을 사용하여 네트워크 성능과 안정성을 향상시킨다.
• 단일 산란과 가시성에 대해 몬테카를로 샘플링을 사용하고 다중 산란에 대해서는 신경망 예측을 조합하여 분산을 줄인다.
• 각 셰이딩 구성에 대해 모든 방향으로의 전체 반사율 함수를 예측하도록 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 렌더 타임에 모든 빛 경로를 시뮬레이션하지 않고도 딥 뉴럴 네트워크가 다중 산란 반사율을 정확히 예측할 수 있는가?
• RQ2 평면 입력과 비교해 계층적 기하 기술자의 점진적 피드백이 네트워크 성능과 예측 정확도를 향상시키는가?
• RQ3 전통적 경로 추적과 비교해 렌더 타임을 크게 단축하면서도 근사 사진 수준의 결과를 도출할 수 있는가?
• RQ4 비-구름 형태의 물체나 다른 조명 조건에 대해 이 방법이 얼마나 잘 일반화되는가?
• RQ5 애니메이션용 구름 시퀀스에 대해 이 방법이 시간적 안정성을 얼마나 잘 유지하는가?

주요 결과

• 이 방법은 경로 추적 기반 기준과 거의 구분되지 않는 구름 이미지를 생성하며, 인지적 품질이 고정밀 시뮬레이션과 일치한다.
• GPU 구현을 통해 전체 경로 추적에서 수 시간이 걸리는 렌더 타임을 초단위에서 수분 내로 단축시켰다.
• 계층적 기술자의 점진적 피드백이 학습 효율성과 예측 정확도를 향상시키며, 특히 계수 수가 적을 경우 두드러진다.
• 네트워크는 애니메이션 시퀀스 전반에서 강력한 시간적 안정성을 유지하여 영화 및 애니메이션 제작에 활용 가능하다.
• 도메인 이탈로 인해 비-구름 형태의 물체에 대해 일반화가 매우 열악하며, 표면 아래 산란이 과도하게 추정되고 먼 거리의 그림자도 정확하지 않다.
• 잔여 연결과 미프맵핑이 훈련 및 추론 과정에서 네트워크 성능 향상과 수렴 속도 향상에 크게 기여한다.