[논문 리뷰] NeuralVDB: High-resolution Sparse Volume Representation using Hierarchical Neural Networks

Doyub Kim, Minjae Lee외 1명|arXiv (Cornell University)|2022. 08. 08.

AI in cancer detection인용 수 8

한 줄 요약

NeuralVDB는 VDB 트리의 최하위 레벨을 계층적 신경망으로 대체하는 하이브리드 데이터 구조를 제안하여 희박한 부피 데이터를 압축하며, 공간 적응성과 사용자 제어 가능 압축 오차를 유지하면서 최대 100× 메모리 절감을 달성한다. 이는 서피스 거리 함수와 밀도 부피에 대해 기존의 신경망 표현 방식보다 더 뛰어난 압축 효율성과 재구성 품질을 제공한다.

ABSTRACT

We introduce NeuralVDB, which improves on an existing industry standard for efficient storage of sparse volumetric data, denoted VDB [Museth 2013], by leveraging recent advancements in machine learning. Our novel hybrid data structure can reduce the memory footprints of VDB volumes by orders of magnitude, while maintaining its flexibility and only incurring small (user-controlled) compression errors. Specifically, NeuralVDB replaces the lower nodes of a shallow and wide VDB tree structure with multiple hierarchical neural networks that separately encode topology and value information by means of neural classifiers and regressors respectively. This approach is proven to maximize the compression ratio while maintaining the spatial adaptivity offered by the higher-level VDB data structure. For sparse signed distance fields and density volumes, we have observed compression ratios on the order of 10x to more than 100x from already compressed VDB inputs, with little to no visual artifacts. Furthermore, NeuralVDB is shown to offer more effective compression performance compared to other neural representations such as Neural Geometric Level of Detail [Takikawa et al. 2021], Variable Bitrate Neural Fields [Takikawa et al. 2022a], and Instant Neural Graphics Primitives [Müller et al. 2022]. Finally, we demonstrate how warm-starting from previous frames can accelerate training, i.e., compression, of animated volumes as well as improve temporal coherency of model inference, i.e., decompression.

연구 동기 및 목표

• 컴퓨터 그래픽스, 과학적 시각화 및 시뮬레이션 등의 분야에서 희박한 부피 데이터의 높은 메모리 사용량 문제를 해결하기 위해.
• 신경망이 VDB의 희박한 부피 표현 방식을 압축하면서도 공간 적응성을 유지할 수 있는지 탐색하기 위해.
• VDB 트리 구조의 효율성과 신경망의 고압축 성능을 조합한 하이브리드 시스템을 개발하기 위해.
• 정적 및 동적 부피에서 압축 비율, 재구성 품질, 랜덤 액세스 성능 간의 상호 상충 관계를 평가하기 위해.
• 온라인 저장 및 가속된 추론을 가능하게 하기 위해 이전 프레임에서의 웜스타트와 시간적 일관성을 활용하기 위해.

제안 방법

• VDB 트리의 최하위 두 레벨(노드와 타일)을 별도의 신경망으로 대체: 위상 정보는 분류기, 복셀 값은 회귀기로.
• 각 레벨이 점점 더 세밀한 공간적 특징을 인코딩하는 계층적 신경망 아키텍처를 사용하여 다중 해상도 압축을 가능하게 한다.
• 하위 레벨에서 복셀의 존재/부재를 예측하는 신경망 분류기를 통해 비트필드 저장을 줄인다.
• 복셀 값(SDF, 밀도 등)을 희박한 입력 좌표와 관련된 값에 대해 훈련된 신경망 회귀기를 사용하여 인코딩한다.
• 신경망 컴포넌트를 수정된 VDB 프레임워크에 통합하여 원래 트리의 빠른 하향식 탐색 및 랜덤 액세스 패턴을 유지한다.
• 사용자 제어 가능 압축 오차 임계값을 적용하여 정확도와 메모리 사용량 간의 균형을 맞추며, 손실 압축이지만 시각적으로 수용 가능한 표현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망이 VDB 구조 내 희박한 부피 데이터의 위상 및 값 정보를 효과적으로 압축하면서도 공간 적응성을 유지할 수 있는가?
• RQ2 NeuralVDB의 압축 성능은 INGP, NGLOD, VBNF와 같은 최신 신경망 시나리오 표현 방식과 비교해 메모리 사용량과 재구성 품질 측면에서 어떻게 다른가?
• RQ3 이전 프레임에서의 웜스타트가 동적 부피 압축에서 훈련 속도 향상과 시간적 일관성 향상에 얼마나 기여하는가?
• RQ4 NeuralVDB는 표준 VDB와 NanoVDB에 비해 메모리 절감, 랜덤 액세스 성능, 인코딩/디코딩 지연 간의 상호 상충 관계는 어떻게 되는가?
• RQ5 NeuralVDB는 구름과 같은 밀도 높은 부피 데이터와 좁은 밴드 레벨 세트와 같은 더 희박한 표현 방식에서 어떻게 성능을 발휘하는가?

주요 결과

• 16비트 정수화와 Blosc 압축을 사용하여 디즈니 클라우드 데이터셋의 파일 크기를 1.5GB에서 25MB로 60× 압축하였다.
• 고해상도의 애니메이션 워터 시뮬레이션에서 NeuralVDB는 총 파일 크기를 OpenVDB의 22.7GB에서 1.2GB로 줄여 18×의 압축 비율을 달성하였다.
• 일부 희박한 서피스 거리 함수에서 NeuralVDB는 최대 100×의 메모리 절감을 달성하였으며, NGLOD와 VBNF와 같은 다른 신경망 표현 방식보다 뛰어난 성능을 보였다.
• 사용자 제어 가능한 오차 임계값 덕분에 극도로 높은 압축 비율에서도 시각적 정확도를 유지하며 최소한의 잡음이 발생하였다.
• 이전 프레임에서의 웜스타트 덕분에 동적 시퀀스에서 훈련 시간이 단축되었고, 시간적 일관성이 향상되어 재구성 잡음이 감소하였다.
• 랜덤 액세스 성능은 NanoVDB의 3차 보간과 유사했지만, 1차 샘플링보다는 느렸으며, 향후 최적화 여지가 있음을 시사하였다.