[論文レビュー] BeyondPixels: A Comprehensive Review of the Evolution of Neural Radiance Fields

AKM Shahariar Azad Rabby, Chengcui Zhang|arXiv (Cornell University)|Jun 5, 2023

3D Surveying and Cultural Heritage被引用数 11

ひとこと要約

このサーベイは最近の NeRF 文献を統合し、アーキテクチャとスケーラビリティ別に進展を分類し、質の向上・効率化・大規模シーン処理の技術を要約します。

ABSTRACT

Neural rendering combines ideas from classical computer graphics and machine learning to synthesize images from real-world observations. NeRF, short for Neural Radiance Fields, is a recent innovation that uses AI algorithms to create 3D objects from 2D images. By leveraging an interpolation approach, NeRF can produce new 3D reconstructed views of complicated scenes. Rather than directly restoring the whole 3D scene geometry, NeRF generates a volumetric representation called a ``radiance field,'' which is capable of creating color and density for every point within the relevant 3D space. The broad appeal and notoriety of NeRF make it imperative to examine the existing research on the topic comprehensively. While previous surveys on 3D rendering have primarily focused on traditional computer vision-based or deep learning-based approaches, only a handful of them discuss the potential of NeRF. However, such surveys have predominantly focused on NeRF's early contributions and have not explored its full potential. NeRF is a relatively new technique continuously being investigated for its capabilities and limitations. This survey reviews recent advances in NeRF and categorizes them according to their architectural designs, especially in the field of novel view synthesis.

研究の動機と目的

• 新規ビュー合成とニューラルレンダリングに跨る NeRF ベース研究を動機づけ、調査する。
• 元のフレームワークへの拡張とアーキテクチャ設計に基づいて NeRF 文献を分類する。
• 品質、編集、スケーラビリティにおける長所・制約・実践的課題を強調する。
• 重要な課題を克服することを目的とした今後の NeRF 研究を導く新しい分類スキームを提案する。

提案手法

• 密度と輻射を出力するMLPへの 5D 座標入力として NeRF の基本を説明する。
• コーントレースとマルチスケール表現（例: Mip-NeRF）によるサンプリングとエイリアシング対策の改善を概説する。
• 効率と大規模シーンのためのポイントベース、ボクセルベース、フュージョンアプローチ（例: Point-NeRF、NeRFusion）を要約する。
• スケーラブルな NeRF 変種（FastNeRF、KiloNeRF、Block-NeRF、Mega-NeRF）とそれらの学習・推論の最適化を説明する。
• 変形と編集可能性の拡張（DRF-Cages、dynamic NeRFs）とその制限を議論する。

実験結果

リサーチクエスチョン

• RQ1 創始以来、NeRF の改善を促してきた主要なアーキテクチャ分類と拡張は何か？
• RQ2 品質、エイリアシング、サンプリングの課題は NeRF の性能にどのように影響し、それらを緩和する技法は何か？
• RQ3 NeRF を大規模シーンへスケールさせ、リアルタイムまたはほぼリアルタイムのレンダリングを達成する戦略は何か？
• RQ4 動的・関節付きオブジェクト表現とシーン編集における現状の制限は何か？
• RQ5 核となるボトルネックとアプリケーションに対処するため、今後の NeRF 研究はどのように組織されるべきか？

主な発見

• Mip-NeRF はコーンベースの表現と統合位置エンコーディングを用いてエイリアシングを減らし、精度を向上させる。
• Point-NeRF は効率を高めるための剪定/成長を伴うポイントベース表現を導入する。
• NeRFusion は局所的な輻射場を GRU とスパースな 3D CNN で結合してグローバルなシーン再構成を可能にする。
• FastNeRF はデュアルネットワーク分解とキャッシングにより約 200 FPS へレンダリングを加速し、メモリ使用量を劇的に削減する。
• KiloNeRF と Block/Mega-NeRF はタイル化、キャッシング、階層的サンプリングによってスケーラビリティと大規模シーン処理に対応する。
• 動的/関節付き NeRF アプローチ（例: DeVRF、ケージベース変形）は非静的シーンへ NeRF を拡張するが、残るアーティファクトと制限がある。