[論文レビュー] Neural Fields in Visual Computing and Beyond

Yiheng Xie, Towaki Takikawa+8 more|arXiv (Cornell University)|Nov 22, 2021

Advanced Vision and Imaging参考文献 263被引用数 5

ひとこと要約

本論文は、視覚計算分野におけるニューラルフィールドに関する包括的でコミュニティ主導のレビューを提示し、250篇以上の論文を統合して技術と応用を統一する。ニューラルフィールドの構成要素（表現、条件付け、フォワードマップ、アーキテクチャ）を形式化するとともに、3次元再構築、生成モデル、ロボット工学など、それ以上の分野における研究の継続的なキュレートと分類を可能にするライブウェブサイトを導入する。

ABSTRACT

Recent advances in machine learning have created increasing interest in solving visual computing problems using a class of coordinate-based neural networks that parametrize physical properties of scenes or objects across space and time. These methods, which we call neural fields, have seen successful application in the synthesis of 3D shapes and image, animation of human bodies, 3D reconstruction, and pose estimation. However, due to rapid progress in a short time, many papers exist but a comprehensive review and formulation of the problem has not yet emerged. In this report, we address this limitation by providing context, mathematical grounding, and an extensive review of literature on neural fields. This report covers research along two dimensions. In Part I, we focus on techniques in neural fields by identifying common components of neural field methods, including different representations, architectures, forward mapping, and generalization methods. In Part II, we focus on applications of neural fields to different problems in visual computing, and beyond (e.g., robotics, audio). Our review shows the breadth of topics already covered in visual computing, both historically and in current incarnations, demonstrating the improved quality, flexibility, and capability brought by neural fields methods. Finally, we present a companion website that contributes a living version of this review that can be continually updated by the community.

研究の動機と目的

• 視覚計算および関連分野におけるニューラルフィールド研究の急激に増加する文献を統合・形式化すること。
• 表現、条件付け、フォワードマップ、アーキテクチャ、および操作技術を含む、ニューラルフィールド手法の核心的構成要素を特定・統一すること。
• 3次元再構築、デジタルヒューマン、生成モデル、ロボット工学、音声処理など、さまざまな分野における応用の構造的分類を提供すること。
• 研究の重複と選択的忘却、および分野の急速な陳腐化を解消するため、継続的に更新されるコミュニティ主導の知識ベースを構築すること。
• 研究のコミュニケーションと教育を向上させるために、共通の数学的フレームワークと一貫した用語を確立すること。

提案手法

• 250篇以上のニューラルフィールド関連論文を系統的調査し、手法的構成要素と応用分野に焦点を当てる。
• 物理的量を空間的・時間的連続体として記述する、座標に基づくニューラルネットワークパラメータライゼーションとしてニューラルフィールドを形式化する。
• 局所的・グローバルな条件付け、メタラーニング、ハイブリッド離散連続表現を含む、事前学習のための技術を分類・比較する。
• ボリュームレンダリング、サーフェスレンダリング、物理に基づくPDEなど、さまざまな微分可能フォワードマップを同定・分析する。
• 分野内で異なる研究の間で一貫性を持つ表記法と語彙を確立する。
• コミュニティ主導で、検索可能かつフィルタリング可能なウェブサイトを立ち上げ、分類法をホスティングし、継続的な寄稿と新規論文の分類を可能にする。

実験結果

リサーチクエスチョン

• RQ1 異なる応用分野にわたる多様なニューラルフィールド手法を統一する、核心的な手法的構成要素は何か？
• RQ2 表現、条件付け、アーキテクチャ、フォワードマッピングの観点から、ニューラルフィールドを体系的に分類する方法は何か？
• RQ3 3次元再構築、デジタルヒューマン、生成モデル、ロボット工学の分野において、顕著な傾向と共通の原則は何か？
• RQ4 継続的に更新されるコミュニティ主導のデータベースは、急激に進展する分野における研究の重複と選択的忘却をどのように軽減できるか？
• RQ5 視覚計算分野における多様なニューラルフィールドの実装を統一する数学的および概念的フレームワークは何か？

主な発見

• ニューラルフィールドは、3次元再構築、新視点合成、3次元形状生成において最先端の性能を達成しており、忠実度とメモリ効率が向上している。
• ハイブリッド離散連続表現とメタラーニング技術により、より強固で汎用性の高いニューラルフィールド学習が可能になった。
• ニューラルレイトランスフィールド（NeRF）や物理に基づくPDEなど、微分可能なフォワードマップにより、複雑な視覚計算タスクにおけるエンドツーエンド最適化が可能になった。
• コミュニティ主導のウェブサイトにより、研究の即時キュレートと分類が可能となり、レビューの最新性とアクセス可能性が保証された。
• ニューラルフィールドは視覚計算をはるかに超えて、ロボット工学、医療画像、音声処理などに応用されており、広範な適用可能性が示された。
• 統一された数学的定式化と一貫した用語は、論文間のコミュニケーションと分野への新規研究者（学生）のオンボーディングを著しく改善した。