[논문 리뷰] 4K4D: Real-Time 4D View Synthesis at 4K Resolution

Zhen Xu, Sida Peng외 6명|arXiv (Cornell University)|2023. 10. 17.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 4K4D를 제안하며, 4D 기능 격자와 하이브리드 외관 모델링을 통해 RTX 4090 GPU에서 80 FPS 이상의 실시간 4K 동적 뷰 합성 가능성을 확보한다. 하드웨어 래스터라이제이션과 미분 가능 깊이 벗기기 알고리즘을 활용하여, 이전 방법보다 30배 빠른 렌더링 성능를 달성하면서도 벤치마크 데이터셋에서 최신 기술 수준의 품질을 유지한다.

ABSTRACT

This paper targets high-fidelity and real-time view synthesis of dynamic 3D scenes at 4K resolution. Recently, some methods on dynamic view synthesis have shown impressive rendering quality. However, their speed is still limited when rendering high-resolution images. To overcome this problem, we propose 4K4D, a 4D point cloud representation that supports hardware rasterization and enables unprecedented rendering speed. Our representation is built on a 4D feature grid so that the points are naturally regularized and can be robustly optimized. In addition, we design a novel hybrid appearance model that significantly boosts the rendering quality while preserving efficiency. Moreover, we develop a differentiable depth peeling algorithm to effectively learn the proposed model from RGB videos. Experiments show that our representation can be rendered at over 400 FPS on the DNA-Rendering dataset at 1080p resolution and 80 FPS on the ENeRF-Outdoor dataset at 4K resolution using an RTX 4090 GPU, which is 30x faster than previous methods and achieves the state-of-the-art rendering quality. Our project page is available at https://zju3dv.github.io/4k4d/.

연구 동기 및 목표

• 4K 해상도에서 실시간 고해상도 4D 동적 시나리오 렌더링의 과제를 해결한다.
• 기존의 암시적 신경 렌더링 방법의 느린 추론 속도 문제를 해결한다. 이는 일반적으로 1080p에서 프레임당 수 초가 소요되며, 4K에서는 1.3 FPS로 떨어진다.
• 하드웨어 가속 렌더링을 지원하면서도 높은 시각적 품질을 유지하는 신경 표현을 개발한다.
• GPU 래스터라이제이션과 호환되는 미분 가능 깊이 벗기기 알고리즘을 도입하여 효율적인 최적화 및 렌더링을 가능하게 한다.
• 이미지 기반 블렌딩과 연속적인 구면 조화 함수(Sh)를 조합한 하이브리드 외관 모델을 설계하여, 속도를 희생시키지 않은 채 렌더링 정밀도를 향상시킨다.

제안 방법

• 공간 카빙을 사용해 거친 기하 구조를 확보하고, 학습 가능한 점 위치와 4D 기능 격자를 활용해 4D 점군 표현을 구성한다.
• MLP를 사용해 4D 기능 격자에서 점의 반경, 밀도, 그리고 구면 조화 함수(SH) 계수를 예측하여, 볼륨 렌더링을 위한 반투명 점군을 형성한다.
• 하이브리드 외관 모델을 설계한다: 고주파 수치를 위한 시점 독립적 이미지 블렌딩 네트워크(IBR)와 시점 의존적 외관을 위한 연속적인 SH 모델을 조합한다.
• IBR 항목을 시점 방향에서 분리하여 사전 계산 및 캐싱이 가능하게 하여, 고속 렌더링을 가능하게 하면서도 연속적인 SH 모델을 통해 이산적 시점 의존성의 영향을 보완한다.
• GPU 래스터라이제이션 파이프라인을 활용해 최적화 및 렌더링 속도를 가속화하는 미분 가능 깊이 벗기기 알고리즘을 개발한다. 이는 비용이 많이 드는 레이 기반 MLP 평가를 대체한다.
• FP16 추론, 감소된 깊이 벗기기 횟수(K=12), 사전 계산된 기하 구조 및 외관 특징의 메모리 캐싱을 포함한 최적화 기법을 적용하여 렌더링 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 4D 기능 격자를 갖춘 신경 점군 표현은 4K 해상도에서 고해상도 렌더링 품질과 실시간 성능를 동시에 달성할 수 있는가?
• RQ2 이미지 기반 블렌딩과 구면 조화 함수를 조합한 하이브리드 외관 모델은 SH 전용 또는 IBR 전용 접근 방식에 비해 렌더링 품질 향상에 얼마나 효과적인가?
• RQ3 미분 가능 깊이 벗기기 기반 하드웨어 가속 렌더링은 전통적인 CUDA 기반 미분 렌더링에 비해 속도와 확장성 면에서 얼마나 뛰어나게 성능을 냈는가?
• RQ4 FP16, 감소된 깊이 벗기기 횟수, 특징 캐싱 등의 최적화 기법이 실시간 4K 렌더링에서 렌더링 스루풋에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 RTX 4090과 같은 일반 소비자용 GPU를 사용해 4K 해상도에서 실시간 성능(≥30 FPS)을 달성할 수 있는가?

주요 결과

• RTX 3090 GPU를 사용해 DNA-Rendering 데이터셋에서 1080p 해상도에서 400 FPS를 기록했으며, 동일한 GPU에서 4K 해상도에서 80 FPS를 달성하여 이전 방법 대비 30배 빠른 성능 향상을 보였다.
• RTX 4090를 사용해 4K 해상도에서 ENeRF-Outdoor 데이터셋을 렌더링할 경우 GUI 오버헤드를 포함해 85.1 FPS로 실시간 렌더링 성능를 입증했다.
• 절단 실험 결과, 기하 구조 및 외관 특징 캐싱으로 10배의 속도 향상(219.4 FPS 대 22.2 FPS)을 달성하여 사전 계산의 효과를 확인했다.
• 미분 가능 깊이 벗기기 알고리즘이 PyTorch3D의 CUDA 기반 구현보다 7배 이상 빠른 성능를 보여, 최적화에 있어 효율성을 입증했다.
• FP16 사용과 깊이 벗기기 횟수를 15에서 12로 감소시켜 20 FPS의 렌더링 속도 향상을 기록하여 혼합 정밀도 및 알고리즘 최적화의 영향을 입증했다.
• 하이브리드 외관 모델은 DNA-Rendering 데이터셋에서 최신 기술 수준의 PSNR(31.990)와 SSIM(0.982) 성능를 기록했으며, 품질 면에서 이전 방법을 초월하면서도 고속 렌더링 성능를 유지했다.