[論文レビュー] NerfAcc: A General NeRF Acceleration Toolbox

Ruilong Li, Matthew Tancik+1 more|arXiv (Cornell University)|Oct 10, 2022

Computer Graphics and Visualization Techniques被引用数 20

ひとこと要約

NerfAcc は PyTorch ベースのツールボックスで、NeRF の体積レンダリングを加速し、境界付き・動的・無限シーンをサポートし、プラグアンドプレイ統合を提供します。元の手法に比べて顕著なスピードアップを実現し、数分から数時間での学習を可能にします。

ABSTRACT

We propose NerfAcc, a toolbox for efficient volumetric rendering of radiance fields. We build on the techniques proposed in Instant-NGP, and extend these techniques to not only support bounded static scenes, but also for dynamic scenes and unbounded scenes. NerfAcc comes with a user-friendly Python API, and is ready for plug-and-play acceleration of most NeRFs. Various examples are provided to show how to use this toolbox. Code can be found here: https://github.com/KAIR-BAIR/nerfacc. Note this write-up matches with NerfAcc v0.3.5. For the latest features in NerfAcc, please check out our more recent write-up at arXiv:2305.04966

研究の動機と目的

• NeRF のための一般的で使いやすい加速ツールボックスを提供する。
• 境界付き、動的、無限シーンへ効率的な体積レンダリング技術を拡張する。
• 既存の NeRF モデルへのプラグアンドプレイ統合を可能にする Python API を提供する。

提案手法

• 高速レイマーチングとレンダリングのための Instant-NGP 技術をベースにする。
• レイマーチング中に空間の占有グリッドを組み込み、空の/遮蔽された領域を絞り込む。
• 無限シーンを扱うためにシーンの収縮（Mip-NeRF 360 スタイル）を適用する。
• 任意のユーザー定義放射場で動作可能な微分可能レンダリングを提供する。
• 統合のための最小限の二機能プラグイン（sigma_fn, rgb_sigma_fn）を提供する。
• バニラ NeRF、Instant-NGP、D-NeRF、および無限データセットでの学習時間の大幅な削減を実証する。

実験結果

リサーチクエスチョン

• RQ1 モデルの再設計を伴わずに、一般的な Python ベースのツールキットが静的・動的・無限の NeRF 表現を加速できるか？
• RQ2 NerfAcc を用いて標準 NeRF、Instant-NGP、D-NeRF、および Mip-NeRF 360 の設定でどれくらいのスピードアップと品質向上が得られるか？
• RQ3 異なるシーンタイプに対する効率的なレイマーチングと微分可能レンダリングの有効な戦略は何か？

主な発見

• NerfAcc により、NeRF-Synthetic で約1時間程度でバニラ NeRF の学習が可能となり、元の論文の数日と比較して大幅に短縮される。
• NerfAcc を用いると Instant-NGP NeRF は約4.5分程度で同等の品質に達する。
• いくつかのシーンで PSNR が高くなり、D-NeRF の性能は約1時間程度まで向上する。
• 無限シーン（Mip-NeRF 360）も約20分程度で学習でき、競争力のある PSNR を達成。
• このツールボックスは静的・動的・無限 NeRF バリアント全体で迅速な学習と品質向上をサポートする。