[論文レビュー] NeuralVDB: High-resolution Sparse Volume Representation using Hierarchical Neural Networks

Doyub Kim, Minjae Lee+1 more|arXiv (Cornell University)|Aug 8, 2022

AI in cancer detection被引用数 8

ひとこと要約

NeuralVDB は、VDB 木の最下層を階層的ニューラルネットワークに置き換えるハイブリッドデータ構造を提案する。これにより、スパースなボリュメトリックデータを最大 100× 圧縮可能であり、空間的適応性を維持したまま、ユーザーが制御可能な圧縮誤差を実現する。符号化距離関数および密度ボリュームの両面で、既存のニューラル表現を上回る圧縮効率と再構成品質を達成する。

ABSTRACT

We introduce NeuralVDB, which improves on an existing industry standard for efficient storage of sparse volumetric data, denoted VDB [Museth 2013], by leveraging recent advancements in machine learning. Our novel hybrid data structure can reduce the memory footprints of VDB volumes by orders of magnitude, while maintaining its flexibility and only incurring small (user-controlled) compression errors. Specifically, NeuralVDB replaces the lower nodes of a shallow and wide VDB tree structure with multiple hierarchical neural networks that separately encode topology and value information by means of neural classifiers and regressors respectively. This approach is proven to maximize the compression ratio while maintaining the spatial adaptivity offered by the higher-level VDB data structure. For sparse signed distance fields and density volumes, we have observed compression ratios on the order of 10x to more than 100x from already compressed VDB inputs, with little to no visual artifacts. Furthermore, NeuralVDB is shown to offer more effective compression performance compared to other neural representations such as Neural Geometric Level of Detail [Takikawa et al. 2021], Variable Bitrate Neural Fields [Takikawa et al. 2022a], and Instant Neural Graphics Primitives [Müller et al. 2022]. Finally, we demonstrate how warm-starting from previous frames can accelerate training, i.e., compression, of animated volumes as well as improve temporal coherency of model inference, i.e., decompression.

研究の動機と目的

• コンピュータグラフィックス、科学的可視化、シミュレーションなどの分野におけるスパースボリュメトリックデータの高いメモリ使用量を解消すること。
• VDB のスパースボリューム表現の圧縮を、空間的適応性を損なわずにニューラルネットワークが向上させられるかを検討すること。
• VDB のツリー構造の効率性とニューラルネットワークの高圧縮性能を組み合わせたハイブリッドシステムの開発。
• 静的およびアニメーションボリュームにおいて、圧縮比、再構成品質、ランダムアクセス性能のトレードオフを評価すること。
• オフラインストレージの効率化と、ウォームスタートおよび時間的整合性を活用したアニメーションボリュームシーケンスの高速推論を可能にすること。

提案手法

• VDB 木の最下位2段階（ノードとタイル）を、トポロジー用の分類器とボクセル値用の回帰器として別々のニューラルネットワークに置き換える。
• 各レベルが次第に細分化された空間特徴を符号化する階層的ニューラルネットワークアーキテクチャを採用し、マルチスケール圧縮を実現する。
• 下位レベルのボクセル存在/非存在を予測するニューラル分類器を用いて、ビットフィールドのストレージを削減する。
• SDF や密度などのボクセル値を、スパースな入力座標と関連する値を学習対象とするニューラル回帰器で符号化する。
• 元のツリー構造の高速な下向き走査とランダムアクセスの動作パターンを保ちながら、ニューラルコンponents を改変された VDB フレームワークに統合する。
• 忠実度とメモリフットプリントのバランスを図るため、ユーザーが制御可能な圧縮誤差しきい値を適用し、損失ありだが視認的に許容可能な表現を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、VDB 構造におけるスパースボリュメトリックデータのトポロジーと値情報の圧縮を、空間的適応性を損なわず効果的に行えるか？
• RQ2 NeuralVDB の圧縮性能は、INGP や NGLOD、VBNF といった最先端のニューラルシーン表現と比較して、メモリフットプリントと再構成品質の面でどの程度優れているか？
• RQ3 ウォームスタートによる前フレームからの初期化が、アニメーションボリューム圧縮における学習速度と時間的整合性をどの程度向上させるか？
• RQ4 標準 VDB や NanoVDB と比較して、NeuralVDB のメモリ削減、ランダムアクセス性能、エンコード/デコード遅延のトレードオフはいかなるものか？
• RQ5 NeuralVDB は、雲のような密度の高いボリュームデータと、狭帯域レベルセットのようなよりスパースな表現に対して、それぞれどの程度の性能を示すか？

主な発見

• 16ビット量子化と Blosc 圧縮を用いて、ディズニークラウドデータセット（1.5GB → 25MB）で 60× のファイルサイズ削減を達成した。
• 高解像度のアニメーションウォーターサンプルでは、OpenVDB の 22.7GB から NeuralVDB で 1.2GB にまで圧縮され、圧縮比は 18× に達した。
• 特定のスパースな符号化距離関数において、NeuralVDB は最大 100× のメモリ削減を達成し、NGLOD や VBNF といった他のニューラル表現を大きく上回った。
• ユーザーが制御可能な誤差しきい値のおかげで、極端な圧縮比でも高い視覚的忠実度を維持し、最小限のアーチファクトで実現した。
• 前フレームからのウォームスタートにより、学習時間が短縮され、アニメーションシーケンスにおける時間的整合性が向上し、再構成アーチファクトが減少した。
• ランダムアクセス性能は NanoVDB の3次補間と同等であったが、1次サンプリングよりは遅く、最適化の余地があることが示された。