[논문 리뷰] Improved Direct Voxel Grid Optimization for Radiance Fields Reconstruction

Cheng Sun, Min Sun외 1명|arXiv (Cornell University)|2022. 06. 10.

Medical Imaging Techniques and ApplicationsMedicine인용 수 17

한 줄 요약

이 논문은 반사율 장치 재구성용 직접 볼록 격자 최적화 프레임워크인 DVGOv2를 제안한다. 고유의 CUDA 커널을 통해 학습 속도를 2–3배로 향상시키며, 전방향 및 무한 내측 방향 씬 촬영을 가능하게 한다. 효율적인 O(N) 왜곡 손실 구현을 도입하여 렲사 품질과 학습 속도를 모두 향상시키며, 파이토치 기반의 단순한 조밀한 격자 구조를 유지하면서도 고성능을 달성한다.

ABSTRACT

In this technical report, we improve the DVGO framework (called DVGOv2), which is based on Pytorch and uses the simplest dense grid representation. First, we re-implement part of the Pytorch operations with cuda, achieving 2-3x speedup. The cuda extension is automatically compiled just in time. Second, we extend DVGO to support Forward-facing and Unbounded Inward-facing capturing. Third, we improve the space time complexity of the distortion loss proposed by mip-NeRF 360 from O(N^2) to O(N). The distortion loss improves our quality and training speed. Our efficient implementation could allow more future works to benefit from the loss.

연구 동기 및 목표

• 기본 데이터 구조를 변경하지 않고도 명시적 볼록 격자 표현을 사용한 반사율 장치 학습 속도를 크게 향상시키는 것.
• 기존 DVGO 프레임워크를 전방향 및 무한 내측 방향 씬 재구성에 대응하도록 확장하는 것.
• 점 기반 샘플링에 대해 O(N²)에서 O(N) 복잡도로 왜곡 손실 계산을 최적화하여 학습 효율성과 렌더링 품질을 향상시키는 것.
• 대상 CUDA 가속을 통해 고성능을 달성하면서도 파이토치 기반 구현을 통해 단순성과 사용 편의성을 유지하는 것.
• 효율적이고 재사용 가능한 구현을 제공하여 왜곡 손실의 광범위한 채택을 가능하게 하는 것.

제안 방법

• 2–3배의 속도 향상을 위해 핵심 파이토치 연산을 CUDA로 재구현하고, 즉시 컴파일을 통해 원활한 통합을 구현하는 것.
• mip-NeRF 360에서 영감을 얻은 수축 공간 파arameterization을 사용하여 DVGO 프레임워크를 전방향 및 무한 내측 방향 씬에 대응하도록 확장하는 것.
• 식 (1)의 이重합계를 샘플된 점을 선형으로 한 번 순회하는 방식으로 재구성하여 와이드한 O(N) 계산 체계를 도입하는 것.
• 명시적 밀도 및 특징 격자와 시점 의존 색상 계산을 위한 얕은 MLP를 조합한 하이브리드 접근 방식을 사용하여 빠른 추론과 학습을 가능하게 하는 것.
• 두 단계 TV 손실 전략을 적용: 첫 10,000회 반복 동안은 조밀한 계산을, 이후에는 활성 격자 점들만을 대상으로 희소 계산을 수행하여 오버헤드를 줄이는 것.
• 무한 거리 씬에서 배경에 더 잘 맞는 격자 점을 할당하기 위해 입방체 볼록 격자와 수축 공간 변환(p=2 또는 p=∞)을 사용하는 것.

실험 결과

연구 질문

• RQ1 기본 데이터 구조를 변경하지 않고도 명시적 반사율 장치 방법의 학습 속도를 크게 향상시킬 수 있는가?
• RQ2 점 기반 샘플링에 대해 O(N) 시간 복잡도로 왜곡 손실을 효율적으로 계산할 수 있는가? 이를 통해 고해상도, 조밀한 격자 방법에서의 활용이 가능한가?
• RQ3 DVGO 프레임워크는 고해상도 재구성 품질을 유지하면서도 전방향 및 무한 내측 방향 씬 재구성을 지원하도록 확장될 수 있는가?
• RQ4 O(N) 왜곡 손실은 조밀한 격자 기반 반사율 장치에서 학습 속도와 렌더링 품질을 모두 향상시키는가?
• RQ5 선택적 CUDA 가속을 통해 단순한 완전한 파이토치 기반 프레임워크가 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• DVGOv2는 CUDA 최적화 연산과 즉시 컴파일을 통해 원래 DVGO 대비 2–3배의 속도 향상을 달성한다.
• O(N) 왜곡 손실 구현은 복잡도를 O(N²)에서 O(N)으로 낮춰 학습 효율성과 렌더링 품질을 향상시킨다.
• LLFF 데이터셋에서 DVGOv2는 PSNR 26.34, SSIM 0.838, LPIPS 0.197를 기록하며, 왜곡 손실이 없는 베이스라인 DVGO를 능가한다.
• mip-NeRF 360 데이터셋에서 p=∞ 수축 공간을 사용한 DVGOv2는 PSNR 25.42, SSIM 0.695를 기록하며, 훨씬 적은 학습 시간으로 NeRF++ 성능에 근접한다.
• mip-NeRF 360 데이터셋에서는 입방체 수축 공간(p=∞)이 결과를 향상시키지만, Tanks&Temples에서는 p=2가 더 우수한 성능을 보이며, 이는 데이터세트 특성에 따른 광학적 일관성 불일치에 민감함을 시사한다.
• 단일 320³ 격자로 LLFF에서 학습 시간을 10.9분, mip-NeRF 360에서 14.0분으로 단축하여 해상도가 제한된 상황에서도 효율성을 입증한다.