[논문 리뷰] Fast Differentiable Raycasting for Neural Rendering using Sphere-based Representations

Christoph Lassner|arXiv (Cornell University)|2020. 04. 16.

Computer Graphics and Visualization Techniques인용 수 4

한 줄 요약

이 논문은 구름 형태의 구체 표현을 사용하여 기존 메쉬 표현 방식을 대체함으로써 효율적이고 토폴로지에 구애받지 않는 렌더링과 최적화를 가능하게 하는 빠른 미분 가능한 레이캐스트 기반의 pulsar를 제안한다. 파이토치 통합을 통해 렌더링 속도를 수개의 주기로 높이며, 수백만 개의 구체를 포함한 장면의 실시간 최적화를 지원하면서 위치, 반지름, 색상, 투명도 및 카메라 설정을 포함한 모든 장면 파라미터에 대해 기울기를 제공한다.

ABSTRACT

Differentiable rendering in combination with deep learning promises great advantages: deep learning models can produce realistic scenes rapidly, while differentiable rendering offers consistent scene representations and respective gradients. However, gradient based optimization of classical mesh representations is cumbersome because of the explicit topology encoding. Moreover, complex scenes may need detailed geometric representation, requiring many geometric primitives and a fast rendering operation. We propose to break up the rendering process into multiple parts: (1) the scene representation, (2) a differentiable geometry projection and (3) neural shading. While mature, off-the-shelf models for scene representation and neural shading are widely available, we propose pulsar as a general purpose differentiable geometry engine tightly integrated with PyTorch. By replacing mesh representations with sphere clouds for the scene representation, the operation is fast compared to existing differentiable renderers and avoids problems with surface topology. It provides gradients for the full scene parameterization, i.e., sphere positions, colors, radiuses, opacity and the camera parameters. pulsar can execute many times, up to orders of magnitudes faster than existing renderers and allows real-time rendering and optimization of scenes with millions of spheres. It can be used for 3D reconstruction, rendering and volumetric scene optimization.

연구 동기 및 목표

• 딥 러닝 파이프라인에서 메쉬 기반의 미분 가능한 렌더링의 계산 비효율성과 토폴로지 복잡성을 해결하기 위해.
• 수백만 개의 기하 도형을 포함한 복잡한 3차원 장면의 실시간 최적화를 가능하게 하기 위해.
• 구체의 특성과 카메라 파라미터를 포함한 모든 파라미터의 기울기를 지원하는 일반적인 목적의 미분 가능한 기하학 엔진을 제공하기 위해.
• 계산 비용이 큰 메쉬 기반의 렌더링을 더 빠르고 토폴로지에 구애받지 않는 구체 구름 표현 방식으로 대체하기 위해.

제안 방법

• 메쉬의 명시적 토폴로지 대신 각 구체가 위치, 반지름, 색상, 투명도로 정의되는 구체 구름 표현 방식으로 대체한다.
• 렌더링을 세 단계로 분해한다: 구체 구름을 통한 장면 표현, 미분 가능한 기하학 투영, 신경 렌더링.
• 기하학적 투영 단계에서는 분석적 해법을 사용하여 레이-구체 교차 검사를 빠르게 수행하여 GPU 가속 계산을 가능하게 한다.
• 모든 연산은 파이토치로 구현되어 있어 모든 장면 파라미터와 카메라 설정에 대해 자동 미분이 가능하다.
• 대규모 장면에서의 성능 향상을 위해 계층적이고 희소한 구체 표현을 지원한다.
• 렌더러는 모듈식이고 조합 가능하도록 설계되어 기존의 신경 렌더링 및 최적화 프레임워크와의 통합이 가능하다.

실험 결과

연구 질문

• RQ1 구체 구름 기반의 미분 가능한 레이캐스터가 메쉬 기반 렌더러보다 속도와 확장성 면에서 뛰어나게 되는가?
• RQ2 구체 구름과 같은 토폴로지에 구애받지 않는 기하 표현 방식이 복잡한 장면에서 안정적이고 효율적인 기울기 계산을 가능하게 하는가?
• RQ3 구체 기반의 렌더링이 수백만 개의 도형을 포함한 장면에서 얼마나 실시간 최적화를 달성할 수 있는가?
• RQ4 신경 렌더링과의 통합을 통해 구체 구름 기하학이 종단 간 최적화 효율을 얼마나 향상시키는가?

주요 결과

• pulsar는 기존의 미분 가능한 렌더러보다 수개의 주기 빠른 렌더링 속도를 달성하여 수백만 개의 구체를 포함한 장면의 실시간 최적화를 가능하게 한다.
• 구체 구름의 사용으로 토폴로지 복잡성이 제거되어 메쉬 연결성 및 표면 표현과 관련된 문제를 피할 수 있다.
• 구체의 위치, 반지름, 색상, 투명도 및 카메라 파라미터를 포함한 모든 장면 파라미터에 대해 전체 기울기가 제공되어 종단 간 최적화가 가능하다.
• 분석적 해법을 통한 효율적인, 미분 가능한 레이-구체 교차 검사를 통해 계산 오버헤드를 감소시킨다.
• 파이토치 통합 덕분에 3차원 복원, 신경 렌더링, 볼륨 최적화 등의 딥 러닝 파이프라인에서 원활하게 사용할 수 있다.