[論文レビュー] Nerfstudio: A Modular Framework for Neural Radiance Field Development

Matthew Tancik, Ethan Weber+11 more|arXiv (Cornell University)|Feb 8, 2023

Advanced Neural Network Applications被引用数 19

ひとこと要約

Nerfstudioは、NeRF技術を統合するモジュール型のPyTorchフレームワークを提供し、リアルタイムのウェブベース視覚化を可能にし、実世界データのワークフローをサポートします。最終的には高速で柔軟なデフォルト手法であるNerfactoへと繋がる。

ABSTRACT

Neural Radiance Fields (NeRF) are a rapidly growing area of research with wide-ranging applications in computer vision, graphics, robotics, and more. In order to streamline the development and deployment of NeRF research, we propose a modular PyTorch framework, Nerfstudio. Our framework includes plug-and-play components for implementing NeRF-based methods, which make it easy for researchers and practitioners to incorporate NeRF into their projects. Additionally, the modular design enables support for extensive real-time visualization tools, streamlined pipelines for importing captured in-the-wild data, and tools for exporting to video, point cloud and mesh representations. The modularity of Nerfstudio enables the development of Nerfacto, our method that combines components from recent papers to achieve a balance between speed and quality, while also remaining flexible to future modifications. To promote community-driven development, all associated code and data are made publicly available with open-source licensing at https://nerf.studio.

研究の動機と目的

• NeRF技術を再利用可能なコンポーネントへ統合し、研究開発を加速する。
• トレーニングとテスト中のNeRFシーンのリアルタイム視覚化を実現する。
• デバイスでキャプチャされた実世界データからNeRFを構築するエンドツーエンドのワークフローを提供する。
• 複数の入力形式とエクスポートモダリティをサポートして、アクセス性を広げる。

提案手法

• DataManager、DataParsers、RayBundles、RaySamples、Frustums、Models、Fieldsを含むNeRFコンポーネントを整理するモジュラーアーキテクチャを導入する。
• ホストサイト経由でリモートでアクセス可能なインタラクティブ視覚化のためのリアルタイムWebビューア（WebSocket/WebRTC）を実装する。
• モバイルアプリやフォトグラメトリツールのDataParsersを含め、実世界データパイプラインをサポートし、複数のエクスポート形式（動画、深度、ポイントクラウド、メッシュ）を提供する。
• 提案ネットワークを含む分割付きレイサンプリング戦略を採用して効率と品質を向上させる。
• シーン縮約（L_infty）とper-image appearance embeddingsを取り入れて、無限大のシーンと外観変動に対応する。
• 以前の研究（例: MipNeRF-360, NeRF-W, Ref-NeRF, Instant-NGP）からのコンポーネントを組み合わせたデフォルト手法Nerfactoを提示し、速度と品質のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 NeRF開発をモジュールコンポーネントで効率化し、複数の既存技術を迅速に実験・統合できるようにするには？
• RQ2 リアルワールドデータで訓練されたNeRFの定性的評価と開発効率を向上させるために、リアルタイムWeb対応ビューアは役立つか？
• RQ3 モジュールアブレーションがNerfactoの性能に与える影響はどの程度で、実世界データでの指標はどの程度正確か？
• RQ4 シーン縮約と外観埋め込みは実世界シーンの再構築品質と汎化にどのように影響するか？
• RQ5 非研究者（アーティスト、VFX、業界の実務家）にとって、どのエクスポート・視覚化機能が最も有益か？

主な発見

方法	PSNR ↑	SSIM ↑	LPIPS ↓
NeRF	24.85	0.659	0.426
MipNeRF	25.12	0.672	0.414
NeRF++	26.21	0.729	0.348
MipNeRF (big MLP)	27.60	0.806	0.251
NeRF++ (big MLP)	27.66	0.803	0.265
MipNeRF-360	29.23	0.844	0.207
Nerfacto (ours)	27.98 / 25.38	0.800 / 0.688	0.291 / 0.390

• Nerfactoは、いくつかのベースラインと比較してトレーニング時間を大幅に短縮しつつ、リアルタイム視覚化を提供しつつ、競争力のある定性的結果を達成する（最短で5Kイテレーション、約2分）。
• 外観埋め込みとシーン縮約がアーティファクトと知覚品質に実質的な影響を与えることを示すアブレーション研究は、PSNR/SSIM/LPIPSのみを評価指標とする限界を強調している。
• モジュラーなフレームワークは複数の論文のコンポーネントを効果的に組み合わせることを可能にし、特注のCUDAコードなしで速度と品質を向上させる柔軟な道筋を提供する。
• リアルタイムWebビューアはトレーニング中および新規視点での定性的評価を促進し、従来の指標中心の評価の限界に対処する。
• Nerfstudioのオープンソースエコシステムは活発なコミュニティの関与とともに成長しており、SDFStudioやArcNerfのような派生物を生み出し、実世界のNeRFワークフローへのアクセスを広げている。