[論文レビュー] Neural Radiance Fields: Past, Present, and Future

A.P. Mittal|arXiv (Cornell University)|Apr 20, 2023

Functional Brain Connectivity Studies被引用数 7

ひとこと要約

本サーベイは、神経放射場（NeRF）の包括的で初心者向けの概要を提供し、コンピューターグラフィックスおよび機械学習分野における基礎的コンセプトから最新の進展までを追跡する。研究をデータセット、損失関数、評価指標、応用分野ごとに分類し、フォーリエ特徴量や今後の神経レンダリングおよび3次元ビジョン分野における研究方向性といった重要な技術を強調している。

ABSTRACT

The various aspects like modeling and interpreting 3D environments and surroundings have enticed humans to progress their research in 3D Computer Vision, Computer Graphics, and Machine Learning. An attempt made by Mildenhall et al in their paper about NeRFs (Neural Radiance Fields) led to a boom in Computer Graphics, Robotics, Computer Vision, and the possible scope of High-Resolution Low Storage Augmented Reality and Virtual Reality-based 3D models have gained traction from res with more than 1000 preprints related to NeRFs published. This paper serves as a bridge for people starting to study these fields by building on the basics of Mathematics, Geometry, Computer Vision, and Computer Graphics to the difficulties encountered in Implicit Representations at the intersection of all these disciplines. This survey provides the history of rendering, Implicit Learning, and NeRFs, the progression of research on NeRFs, and the potential applications and implications of NeRFs in today's world. In doing so, this survey categorizes all the NeRF-related research in terms of the datasets used, objective functions, applications solved, and evaluation criteria for these applications.

研究の動機と目的

• 神経放射場（NeRF）分野に新たに参入する初心者の知識格差を埋めるために、数学、コンピューターグラフィックス、コンピュータービジョン分野の基礎的知識を統合する。
• データセット、目的関数、評価指標、応用分野に基づいてNeRF関連研究を体系的に分類する。
• NeRFの歴史的発展をたどり、フォーリエ特徴量を用いた高周波数関数のモデル化といった重要な技術的進歩を特定する。
• 2020年から2023年のトレンドに基づいて、NeRFおよび神経レンダリング分野における今後の研究方向性を予測的・展望的な分析を提供する。

提案手法

• 本稿は、2022年までのNeRFモデル、拡張、改良の歴史的サーベイを実施し、概念的および技術的進化に焦点を当てる。
• 研究を4つの次元で分類する：使用されたデータセット、目的関数（損失関数）、評価指標、応用タイプ。
• 微分幾何学、信号処理、暗黙的表現からの基礎的コンセプトを統合し、NeRFを広範な研究分野の文脈に位置づける。
• フォーリエ特徴量が高周波数放射場関数のモデル化に果たす役割を分析し、レンダリング品質および一般化性能の向上を実現する。
• AVI（平均視点補間）とエラーマスクを含む標準化されたベンチマークと指標を用いて、さまざまなNeRFバリアントを評価・比較する。
• 視覚合成評価におけるエラー計算においてゴーストアーチファクトを低減するために、動きフロー・マスクにモルフォロジカル操作（クロージングとエロージョン）を適用する。

Figure 1 : A schematic representation of six degrees of freedom

実験結果

リサーチクエスチョン

• RQ1 NeRFは、アーキテクチャ、最適化、応用の観点から、初期の定式化から現在の最先端モデルへどのように進化したか？
• RQ2 NeRF研究において支配的であるデータセット、目的関数、評価指標は何か。それらは時間経過とともにどのように変化してきたか？
• RQ3 フォーリエ特徴エンコード技術は、NeRFにおける高周波数放射場のモデル化をどのように改善するか？
• RQ4 NeRFベースの視覚合成における主な課題は何か。また、マスク付きエラー計算といった手法は、ゴーストアーチファクトをどのように軽減するか？
• RQ5 2020年から2023年のトレンドに基づいて、NeRFおよび神経レンダリング分野で浮上している今後の研究方向性は何か？

主な発見

• 本サーベイは、コンピュータービジョン、グラフィックス、ロボットics分野における研究活動の急増を示す500件以上のプレプリントを同定した。
• フォーリエ特徴エンコードは、現代のNeRFにおいて重要なコンponentとなり、放射場における高周波数ディテールの表現能力を顕著に向上させた。
• 動きフロー・マスクのモルフォロジカル処理（特にクロージング followed by エロージョン）により、対応のないピクセルを正確に除外することで、視覚合成におけるゴーストアーチファクトが低減された。
• AVI（平均視点補間）スコアは、マスクされていないピクセルのみで計算され、最終的なマスクにより、有効な対応関係のみがエラー指標に寄与する。
• NeRFは視覚合成を越えて、3次元再構築、ポーズ推定、スーパーレゾリューション、視線の再配向、医療画像処理といった応用分野へ拡張された。
• 本サーベイは、データセット、目的関数、評価基準ごとに分類可能なNeRF研究の体系的分類法を確立し、研究者が文献を体系的にナビゲートできるようにした。

Figure 2 : A schematic representation of an application of a texture in the UV space related to effect in 3D space