[논문 리뷰] Deep Illumination: Approximating Dynamic Global Illumination with Generative Adversarial Network

Manu Mathew Thomas, Angus G. Forbes|arXiv (Cornell University)|2017. 10. 26.

Advanced Vision and Imaging참고 문헌 23인용 수 17

한 줄 요약

딥 아이리게이션(Deep Illumination)은 G-버퍼와 직접 조명을 입력으로 사용하여 실시간으로 고품질의 동적 글로벌 조명을 근사하는 조건부 생성 적대 신경망(cGAN)을 제안한다. 훈련이 완료된 후 모델은 새로운 시점 구성에 대해 현실적인 간접 조명과 부드러운 그림자를 생성하며, 품질에서는 VXGI를 초월하고 속도에서는 경로 추적(path tracing)을 앞선다.

ABSTRACT

We present Deep Illumination, a novel machine learning technique for approximating global illumination (GI) in real-time applications using a Conditional Generative Adversarial Network. Our primary focus is on generating indirect illumination and soft shadows with offline rendering quality at interactive rates. Inspired from recent advancement in image-to-image translation problems using deep generative convolutional networks, we introduce a variant of this network that learns a mapping from Gbuffers (depth map, normal map, and diffuse map) and direct illumination to any global illumination solution. Our primary contribution is showing that a generative model can be used to learn a density estimation from screen space buffers to an advanced illumination model for a 3D environment. Once trained, our network can approximate global illumination for scene configurations it has never encountered before within the environment it was trained on. We evaluate Deep Illumination through a comparison with both a state of the art real-time GI technique (VXGI) and an offline rendering GI technique (path tracing). We show that our method produces effective GI approximations and is also computationally cheaper than existing GI techniques. Our technique has the potential to replace existing precomputed and screen-space techniques for producing global illumination effects in dynamic scenes with physically-based rendering quality.

연구 동기 및 목표

• 동적 장면에서 새로운 조명과 카메라 설정이 적용된 상황에서도 실시간으로 고품질의 글로벌 조명을 가능하게 하기 위해.
• 사전 계산된 라이트맵과 스크린 스페이스 기반 기법의 한계를 극복하기 위해 G-버퍼에서 글로벌 조명으로의 미분 가능 맵핑을 학습하기 위해.
• 생성 모델이 스크린 스페이스 데이터로부터 복잡한 조명 효과를 암묵적으로 학습할 수 있는지 탐색하기 위해.
• 소비자 하드웨어에서 훈련된 GAN이 실시간 렲링 응용에 실현 가능할지 평가하기 위해.
• 새로운 물체나 조명 설정을 포함한 미사용된 시점 구성으로의 일반화 능력을 조사하기 위해.

제안 방법

• G-버퍼(깊이, 법선, 디퓨즈), 직접 조명을 입력으로 받아 글로벌 조명 출력으로 매핑하는 조건부 GAN(cGAN)을 훈련한다.
• 고정밀도 기준값으로 경로 추적을 사용해 지도 학습을 수행하여 사진 수준의 정확도를 확보한다.
• 생성자에 U-Net 기반 아키텍처와 스킵 연결을 적용하여 생성된 조명의 공간적 세부 사항을 유지한다.
• 판별자는 경로 추적으로부터 유도된 실제 글로벌 조명과 생성된 출력을 구분하도록 훈련한다.
• 시각적 정확도를 향상시키기 위해 적대적 손실과 인지적 손실을 최적화한다.
• 훈련 후 네트워크의 일반화 능력을 활용하여 새로운 시점 구성에 대한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 스크린 스페이스 버퍼에서 높은 인지적 품질로 글로벌 조명을 근사할 수 있는가?
• RQ2 훈련 중에 볼 수 없었던 새로운 시점 구성에 대해 훈련된 네트워크가 얼마나 잘 일반화되는가?
• RQ3 경로 추적을 기준값으로 사용할 경우 VXGI 대비 수렴 속도가 빠르고 결과 품질이 향상되는가?
• RQ4 네트워크의 깊이와 기본 레이어 크기가 추론 속도와 시각적 품질에 어떤 영향을 미치는가?
• RQ5 새로운 물체나 입자 시스템을 渲染할 때 나타나는 아티팩트의 유형은 무엇이며, 이를 완화할 수 있는가?

주요 결과

• 경로 추적 기준값을 사용해 훈련한 네트워크는 인간 평가에서도 기준값과 시각적으로 구분되지 않을 정도로 정확한 결과를 생성했다.
• VXGI로 훈련한 경우에도 네트워크는 고품질의 간접 조명과 부드러운 그림자를 생성했으며, 훈련 데이터 품질에 대한 강건성을 입증했다.
• 기본 레이어 크기 K=128인 네트워크는 K=64 및 K=32보다 느렸지만, 여전히 경로 추적 및 VXGI보다 뚜렷하게 빠르며 실시간 구현 가능성을 확인했다.
• 경로 추적 데이터로 훈련할 경우 VXGI 대비 수렴 속도가 더 빠르며(단 10 에포크 만에 양호한 결과 도달), 더 나은 특징 학습이 가능하다는 점을 시사했다.
• 입자 시스템이나 새로운 물체를 렌더링할 경우 아티팩트가 발생했지만, 더 다양한 훈련 데이터와 고해상도 기준값을 사용함으로써 이를 감소시킬 수 있었다.
• 모델은 새로운 카메라 위치, 조명 방향, 물체 배치에 대해 효과적으로 일반화되어 고품질 글로벌 조명을 갖춘 동적 장면 렌더링을 가능하게 했다.