[논문 리뷰] VoGE: A Differentiable Volume Renderer using Gaussian Ellipsoids for Analysis-by-Synthesis

Angtian Wang, Peng Wang외 3명|arXiv (Cornell University)|2022. 05. 30.

Computer Graphics and Visualization Techniques인용 수 4

한 줄 요약

VoGE는 레이저레이션 대신 레이 트레이싱을 사용하여 3D 기하 형상 원소로 가우시안 타원체를 사용하는 미분 가능 볼륨 렌더러를 제안한다. 이는 정확한 음영 처리 추론을 위한 볼륨 밀도 분포를 모델링한다. CUDA 최적화된 근사 통합과 굵기에서 세밀한 렌더링을 통해 실시간 추론을 구현하며, 자세 추정, 형상 피팅, 텍스처 피팅에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The Gaussian reconstruction kernels have been proposed by Westover (1990) and studied by the computer graphics community back in the 90s, which gives an alternative representation of object 3D geometry from meshes and point clouds. On the other hand, current state-of-the-art (SoTA) differentiable renderers, Liu et al. (2019), use rasterization to collect triangles or points on each image pixel and blend them based on the viewing distance. In this paper, we propose VoGE, which utilizes the volumetric Gaussian reconstruction kernels as geometric primitives. The VoGE rendering pipeline uses ray tracing to capture the nearest primitives and blends them as mixtures based on their volume density distributions along the rays. To efficiently render via VoGE, we propose an approximate closeform solution for the volume density aggregation and a coarse-to-fine rendering strategy. Finally, we provide a CUDA implementation of VoGE, which enables real-time level rendering with a competitive rendering speed in comparison to PyTorch3D. Quantitative and qualitative experiment results show VoGE outperforms SoTA counterparts when applied to various vision tasks, e.g., object pose estimation, shape/texture fitting, and occlusion reasoning. The VoGE library and demos are available at: https://github.com/Angtian/VoGE.

연구 동기 및 목표

• 레이저레이션 기반의 미분 가능 렌더러가 겹치는 기하 형상을 다루지 못하고 음영을 입은 객체로의 기울기 전파를 차단한다는 한계를 해결한다.
• 시야 거리 기반 혼합이 아닌 볼륨 밀도 분포를 모델링하여, 미분 가능 렌더링에서 음영 처리 추론을 향상시킨다.
• 명시적인 가우시안 타원체를 사용해 해석 가능하고 수정 가능한 3D 표현을 가능하게 하며, 스플래터링과 볼륨 렌더링의 장점을 결합한다.
• 자세 추정 및 형상 피팅과 같은 3D 비전 작업을 위한 엔드 투 엔드 최적화를 지원하는 실시간, 미분 가능 렌더링 파이프라인을 개발한다.

제안 방법

• 중심 위치와 공간 공분산 행렬로 정의된 가우시안 타원체를 사용해 3D 객체를 표현함으로써 부드럽고 미분 가능한 기하 형상을 구현한다.
• 각 가우시안 타원체에 대해 레이 트레이싱을 사용해 레이별 볼륨 밀도 함수를 계산함으로써, 레이저레이션을 연속적 밀도 집계로 대체한다.
• 비용이 많이 드는 수치 통합을 피하기 위해, 레이를 따라 볼륨 밀도의 적분을 닫힌 형태의 해법으로 근사한다.
• 수렴 속도 향상과 최적화 중 효율성 향상을 위해 굵기에서 세밀한 렌더링 전략을 적용한다.
• 밀도와 점유율 기반 재가중 기여도로 가중된 가우시안 커널의 속성을 혼합하여 이미지 색상을 재구성한다.
• VoGE의 CUDA 최적화 버전을 구현하여, PyTorch3D와 경쟁 가능한 실시간 렌더링 성능을 달성한다.

실험 결과

연구 질문

• RQ1 볼륨 기반 가우시안 타원체를 사용하는 미분 가능 렌더러가 레이저레이션 기반 방법보다 음영 처리 추론과 기울기 흐름에서 더 우수한 성능을 내는가?
• RQ2 시야 거리 대신 볼륨 밀도 분포를 모델링함으로써, 겹치거나 부분적으로 음영 처리된 시나리오에서 혼합 정확도가 향상되는가?
• RQ3 가우시안 타원체가 형태 및 텍스처 피팅과 같은 역 렌더링 작업을 위한 효과적이고 미분 가능한 3D 원소로 기능할 수 있는가?
• RQ4 제안된 근사 닫힘 형태 해법이 렌더링 품질을 유지하면서도 실시간 성능을 달성하는 데 얼마나 기여하는가?

주요 결과

• VoGE는 PASCAL3D+ 인-와일드 객체 자세 추정 벤치마크에서 69.2%의 정확도를 기록하여, 동일한 설정에서 PyTorch3D(61.0%)와 NeMo+DSS(27.8%)를 모두 초월한다.
• 형상 피팅에서 VoGE는 중앙 오차를 6.9°로 줄였고(비교 기준 PyTorch3D는 8.8°), π/6 임계값에서 47.9%의 정확도를 달성하여 모든 베이스라인을 압도한다.
• 제거 실험에서, 점유율 함수 $ T(l_k) $ 또는 지수 항 $ e^{q_k} $에 대한 기울기 전파를 차단하면 성능이 크게 악화됨을 확인했다.
• VoGE는 텍스처 추출에서 강력한 일반화 성능을 보이며, 보트나 버스와 같은 분포 외의 케이스에 대해서도 신뢰할 수 있는 신규 시점의 렌더링을 생성한다.
• 형상 피팅의 손실 곡선을 분석한 결과, 명시적인 법선 일致 손실 없이도 VoGE가 엄격한 기하 제약 조건을 유지함을 확인했으며, 이는 강력한 기울기 흐름을 의미한다.
• VoGE의 CUDA 구현은 PyTorch3D와 경쟁 가능한 실시간 렌더링 성능을 제공하여, 비전 파이프라인 내 엔드 투 엔드 최적화에 적합함을 입증했다.