[論文レビュー] Recent Trends in 3D Reconstruction of General Non-Rigid Scenes

Raza Yunus, Jan Eric Lenssen+8 more|arXiv (Cornell University)|Mar 22, 2024

3D Surveying and Cultural HeritageEarth and Planetary Sciences被引用数 3

ひとこと要約

この論文は、ニューラルインクリメント表現を用いた一般非剛性シーンの3D再構成における最近の進展をレビューし、単眼およびマルチビュー入力を焦点としている。変形モデリング、シーン分解、編集、生成的事前知識の分野での進歩を強調し、微分可能レンダリング、物理ベースの制約、拡散ベースモデリングといった主な貢献を示している。4Dシーン合成に向けた基盤を提供する。

ABSTRACT

Reconstructing models of the real world, including 3D geometry, appearance, and motion of real scenes, is essential for computer graphics and computer vision. It enables the synthesizing of photorealistic novel views, useful for the movie industry and AR/VR applications. It also facilitates the content creation necessary in computer games and AR/VR by avoiding laborious manual design processes. Further, such models are fundamental for intelligent computing systems that need to interpret real-world scenes and actions to act and interact safely with the human world. Notably, the world surrounding us is dynamic, and reconstructing models of dynamic, non-rigidly moving scenes is a severely underconstrained and challenging problem. This state-of-the-art report (STAR) offers the reader a comprehensive summary of state-of-the-art techniques with monocular and multi-view inputs such as data from RGB and RGB-D sensors, among others, conveying an understanding of different approaches, their potential applications, and promising further research directions. The report covers 3D reconstruction of general non-rigid scenes and further addresses the techniques for scene decomposition, editing and controlling, and generalizable and generative modeling. More specifically, we first review the common and fundamental concepts necessary to understand and navigate the field and then discuss the state-of-the-art techniques by reviewing recent approaches that use traditional and machine-learning-based neural representations, including a discussion on the newly enabled applications. The STAR is concluded with a discussion of the remaining limitations and open challenges.

研究の動機と目的

• 一般非剛性シーンの3D再構成に関する最近のトレンドについて、再構成、分解、編集、生成モデリングを網羅的に概説すること。
• ニューラルインクリメント表現と微分可能レンダリングの役割を分析し、3D幾何、外観、運動のエンドツーエンド最適化を可能にする仕組みを明らかにすること。
• 一般化可能で生成的モデリングが可能な密な動的シーンの取り扱いにおける未解決課題、特に時間的・空間的整合性に関する課題を特定すること。
• 物理ベースの制約や事前学習済み特徴といったインダクティブバイアスの統合が、シーン理解の向上と制御性の向上にどのように寄与するかを検討すること。
• 自己教師あり分解やリアルタイム対応可能な手法（例：Gaussian Splatting）を含む今後の研究方向性を整理すること。

提案手法

• RGBおよびRGB-D入力から3D幾何、外観、運動を一括して最適化できるニューラルインクリメント表現（例：Neural Radiance Fields, NeRF）を用いる。
• 微分可能レンダリングを活用し、画像や動画から直接シーン表現をエンドツーエンド最適化可能にする。
• 微分可能なシミュレータを介して物理ベースの事前知識を統合し、現実的な動的挙動を強制することで、制約下での再構成精度を向上させる。
• 4Dシーン生成のための拡散ベース生成モデルと、2D拡散モデル（例：Stable Diffusion、ControlNet）からの蒸留を検討する。
• アノテーションマスクやテンプレートを必要としない自己教師あり学習を用いて、スケルトンや構造の発見といったシーン分解を実現する。
• 事前学習済み特徴やセグメンテーションモデルを活用し、合成モデリングと向上した編集機能を可能にする。

Figure 1 : Capture Trajectories. A frame can consist of images from a single or multiple cameras installed on a rig. The camera or rig can move along a forward-facing, a 360-circle, or a freeform trajectory. Image source: [ WLC ∗ 23 ] .

実験結果

リサーチクエスチョン

• RQ1 どのようにしてニューラルインクリメント表現を、単眼またはマルチビュー入力から密な非剛性変形シーンを効果的に再構成することができるか？
• RQ2 物理ベースの制約は、非剛性再構成の精度と現実性を向上させるために果たす役割は何か？
• RQ3 拡散ベース生成モデルをどのように拡張すれば、大規模なスケールで一貫性のある4D（3D＋時間）シーン再構成を実現できるか？
• RQ4 現在の手法が、教師なしで一般化された非構造的動的シーンを処理する際の限界は何か？
• RQ5 自己教師ありまたは弱教師ありアプローチは、アノテーションなしで非剛性シーンの分解と編集を可能にするか？

主な発見

• NeRFのようなニューラルインクリメント手法は、エンドツーエンド微分可能フレームワーク内で幾何、外観、運動を一括最適化することで、最先端のビュー合成品質を実現している。
• 物理ベースの制約は非剛性設定における再構成精度を向上させるが、シミュレータ内の簡略化仮定に起因する制限がある。
• 拡散ベース生成モデルは4Dシーン合成の分野で有望であるが、現在では低解像度シーンの生成に数時間必要であり、スケーラビリティの課題が残っている。
• 2D拡散モデル（例：Stable Diffusion）からの蒸留は、3D生成モデリングへの有効な道筋を示しているが、空間的・時間的整合性の維持が主な課題である。
• 自己教師あり分解手法は、アノテーション付きマスクやテンプレートを必要とせず、シーン構造やスケルトンの発見を可能にする新たな手法として登場しつつある。
• リアルタイム対応可能な手法（例：Gaussian Splatting）と拡散ベース事前知識の統合は、スケーラブルかつ制御可能な3D再構成の今後の主要な方向性として浮上している。

Figure 2 : Common Scene Representations for Non-Rigid Reconstruction. Scene representations can be discrete, such as point clouds, meshes, and grids, or continuous, such as MLPs or Transformers. Both paradigms can optionally be combined, where feature embeddings for continuous neural representations