[論文レビュー] Neural Volume Rendering: NeRF And Beyond

Frank Dellaert, Yen-Chen Lin|arXiv (Cornell University)|Dec 17, 2020

Computer Graphics and Visualization Techniques参考文献 39被引用数 33

ひとこと要約

NeRF を触媒として用いたニューラルボリュームレンダリングの注釈付き参考文献と概要。NeRF 以前の暗黙表現、NeRF の基本、そして速度、ダイナミクス、照明再現、形状推定、構成、ポーズといった幅広い追随的方向性を調査。

ABSTRACT

Besides the COVID-19 pandemic and political upheaval in the US, 2020 was also the year in which neural volume rendering exploded onto the scene, triggered by the impressive NeRF paper by Mildenhall et al. (2020). Both of us have tried to capture this excitement, Frank on a blog post (Dellaert, 2020) and Yen-Chen in a Github collection (Yen-Chen, 2020). This note is an annotated bibliography of the relevant papers, and we posted the associated bibtex file on the repository.

研究の動機と目的

• ニューラルボリュームレンダリングを定義し、それがニューラルレンダリングにおける位置づけを説明する。
• 暗黙表現に基づく主要な先行研究を要約する。
• NeRF を説明し、なぜこの分野の急速な成長を引き起こしたのかを説明する。
• 主要な追随方向とその目的（速度、ダイナミクス、照明再現、形状 priors、構成、ポーズ）を調査する。
• 研究者のためにプロジェクトサイトと arXiv エントリをリンクした系統的な参考文献リストを提供する。

提案手法

• 暗黙的表面からニューラルボリュームレンダリングへの進化を注釈付きで整理し、文脈づける。
• 暗黙関数の基盤となる重要な研究（occupancy fields、DeepSDF、PIFu）を引用・整理する。
• NeRF のシンプルな MLP + ボリューム積分とその影響（Fourier 特徴、位置エンコーディング）を説明する。
• 性能、ダイナミクス、照明再現、構成における追随研究を代表的な論文とともに整理する。
• アクセスを容易にするため、プロジェクトサイト/arXivへのリンク付きの注釈付き参考文献を提供する。

実験結果

リサーチクエスチョン

• RQ1 NeRFの学習・レンダリング速度を制限する要因は何か、そしてそれらに対して後続の研究はどのように対処してきたか？
• RQ2 ニューラル輝度場は動的シーンや非剛体/変形可能なコンテンツをどう扱えるか？
• RQ3 ニューラルレンダリングフレームワーク内での照明再現と外観制御を可能にするアプローチは何か？
• RQ4 形状 priors（形状の事前情報）と潜在コードは3D対応の画像合成と一般化をどう高めるか？
• RQ5 複数のオブジェクトを単一のニューラルボリュームレンダリングシーンに組み合わせ、ポーズを扱う効果的な戦略は何か？

主な発見

• NeRF は研究の急増と NeRF 関連研究の注釈付き参考文献を生み出した。
• 初期の研究は暗黙表面/SDF から密度と色を予測するシンプルなMLPを用いた体積レンダリングへと移行した。
• 追随研究は速度向上（JaxNeRF, AutoInt）、動的シーン（NeRFlow, D-NeRF, Nerfies）、照明再現（NeRV, NeRD, Neural Reflectance Fields, NeRF-W）、およびシーン構成（GIRAFFE, Object-Centric Neural Scene Rendering）に及ぶ。
• 研究者は 3D対応の合成と一般化を改善するために形状潜在コードおよびピクセル整列特徴量（pixelNeRF, GRAF, pi-GAN）を探索した。
• 分野は性能、ダイナミクス、照明再現、構成の各面で勢いを見せているが、大規模シーンへのスケーラビリティと表面指向の表現に関する課題がある。