[論文レビュー] Improved Direct Voxel Grid Optimization for Radiance Fields Reconstruction

Cheng Sun, Min Sun+1 more|arXiv (Cornell University)|Jun 10, 2022

Medical Imaging Techniques and ApplicationsMedicine被引用数 17

ひとこと要約

本稿では、放射場再構成のための直接ボクセルグリッド最適化フレームワークであるDVGOv2を提案する。カスタムCUDAカーネルを用いることで学習を2–3倍高速化し、前方視点および無限大の内向き視点シーンのキャプチャを可能にする。O(N)の歪み損失の効率的実装を導入することで、レンダリング品質と学習速度の両方を向上させつつ、PyTorchにおける単純な密なグリッド構造を維持し、高精度な結果を得ている。

ABSTRACT

In this technical report, we improve the DVGO framework (called DVGOv2), which is based on Pytorch and uses the simplest dense grid representation. First, we re-implement part of the Pytorch operations with cuda, achieving 2-3x speedup. The cuda extension is automatically compiled just in time. Second, we extend DVGO to support Forward-facing and Unbounded Inward-facing capturing. Third, we improve the space time complexity of the distortion loss proposed by mip-NeRF 360 from O(N^2) to O(N). The distortion loss improves our quality and training speed. Our efficient implementation could allow more future works to benefit from the loss.

研究の動機と目的

• 基礎的なデータ構造を変更せずに、明示的なボクセルグリッド表現を用いた放射場の学習速度を著しく向上させること。
• 元のDVGOフレームワークを前方視点および無限大の内向き視点シーンの再構成をサポートするように拡張すること。
• 歪み損失の計算をO(N²)からO(N)の複雑度に最適化することで、学習効率とレンダリング品質を向上させること。
• 特定のCUDA加速を施したPyTorchベースの実装により、シンプルさと使いやすさを維持しながら高性能を達成すること。
• 歪み損失の広範な採用を可能にするために、効率的で再利用可能な実装を提供すること。

提案手法

• 2–3倍の高速化を実現するため、キーポイントPyTorch演算をCUDAに再実装し、シームレス統合を図るためのジャストインタイムコンパイルを採用する。
• mip-NeRF 360にインspiredされた収縮空間パラメータ化を用いて、DVGOフレームワークを前方視点および無限大の内向き視点シーンに拡張する。
• 式(1)の二重和を、サンプリングされた点を1回走査する線形処理に再構築することで、歪み損失の新規O(N)計算方式を導入する。
• 明示的な密度および特徴グリッドと、視点依存色を計算する浅いMLPを組み合わせたハイブリッドアプローチを採用し、高速な推論と学習を実現する。
• 二段階TV損失戦略を適用：最初の10,000イテレーションは密な計算を、その後はアクティブなグリッド点でのみ疎行列計算を実行してオーバーヘッドを低減する。
• 立方体形状のボクセルグリッドに、p=2またはp=∞の収縮空間変換を適用することで、無限大のシーンにおける背景へのグリッドポイントの効率的配分を実現する。

実験結果

リサーチクエスチョン

• RQ1 明示的な放射場手法の学習速度を、基礎的なデータ構造を変更せずに著しく向上させることができるか？
• RQ2 ポイントベースのサンプリングにおいて、歪み損失をO(N)時間で効率的に計算できるか？これにより、高解像度・密グリッド手法への適用が可能になるか？
• RQ3 DVGOフレームワークを前方視点および無限大の内向き視点シーンの再構成をサポートするように拡張でき、高精度な再構成品質を維持できるか？
• RQ4 O(N)歪み損失は、密グリッドベースの放射場において、学習速度とレンダリング品質の両方を向上させるか？
• RQ5 選択的CUDA加速を施した完全なPyTorchベースのフレームワークは、最先端の手法と同等の性能を達成できるか？

主な発見

• DVGOv2は、ジャストインタイムコンパイルを用いたCUDA最適化演算により、元のDVGOと比較して2–3倍の高速化を達成した。
• O(N)歪み損失実装により、計算複雑度がO(N²)からO(N)に低下し、学習効率とレンダリング品質が向上した。
• LLFFデータセットでは、DVGOv2がPSNR 26.34、SSIM 0.838、LPIPS 0.197を達成し、歪み損失なしのベースラインDVGOを上回った。
• mip-NeRF 360データセットでは、p=∞の収縮空間を用いたDVGOv2がPSNR 25.42、SSIM 0.695を達成し、大幅に短縮された学習時間でNeRF++に近い性能を示した。
• mip-NeRF 360データセットでは、立方体収縮空間（p=∞）が結果を改善したが、Tanks&Templesではp=2がより優れた性能を示し、データセット固有の光度不一致に感受性があることが示された。
• 1つの320³グリッドを用いて、LLFFでは10.9分、mip-NeRF 360では14.0分の学習時間に短縮され、解像度が限定的でも効率性が確認された。