[論文レビュー] A Comprehensive Survey on 3D Content Generation

Jian Liu, Xiaoshui Huang+9 more|arXiv (Cornell University)|Feb 2, 2024

Computer Graphics and Visualization Techniques被引用数 4

ひとこと要約

本サーベイは、3Dネイティブ、2Dプライアリーベース、ハイブリッド手法の3つに分類する、3Dコンテンツ生成のための新規分類法を提示する。60篇の主要論文をレビューし、品質、制御性、速度、データ不足といった重要な課題を特定し、AIGC-3Dの今後の方向性として、基盤モデルや改善されたベンチマークの構築を示唆する。

ABSTRACT

Recent years have witnessed remarkable advances in artificial intelligence generated content(AIGC), with diverse input modalities, e.g., text, image, video, audio and 3D. The 3D is the most close visual modality to real-world 3D environment and carries enormous knowledge. The 3D content generation shows both academic and practical values while also presenting formidable technical challenges. This review aims to consolidate developments within the burgeoning domain of 3D content generation. Specifically, a new taxonomy is proposed that categorizes existing approaches into three types: 3D native generative methods, 2D prior-based 3D generative methods, and hybrid 3D generative methods. The survey covers approximately 60 papers spanning the major techniques. Besides, we discuss limitations of current 3D content generation techniques, and point out open challenges as well as promising directions for future work. Accompanied with this survey, we have established a project website where the resources on 3D content generation research are provided. The project page is available at https://github.com/hitcslj/Awesome-AIGC-3D.

研究の動機と目的

• 3Dネイティブ、2Dプライアリーベース、ハイブリッド手法の新しい分類法を通じて、最近の3Dコンテンツ生成分野の進展を体系的に分類すること。
• 主な3D生成技術にわたる約60篇の主要論文を包括的にレビューすること。
• 幾何的品質、テクスチャの詳細、制御性、推論速度、データ不足といった、現在の3D生成における未解決の課題を特定すること。
• 3D生成のための基盤モデルや、改善された自動評価ベンチマークの構築といった、今後の研究方向性を提案すること。
• AIGC-3D関連の最新資料を収集した公開リソースWebサイトを整備することで、研究コミュニティを支援すること。

提案手法

• 3段階の分類法を提案：3Dネイティブ生成手法、2Dプライアリーベースの3D生成手法、ハイブリッド3D生成手法。
• 3つのカテゴリーにまたがる60篇の代表的論文をレビューし、アーキテクチャ、トレーニングパラダイム、入力モodalitiyに焦点を当てる。
• 3D表現技術の分析、特に明示的表現（点群、メッシュ、ボクセル）と暗黙的表現（NeRF、ガウシアンスプラッティング、符号付き距離関数）。
• 拡散ベース手法の検討、特にNeRF最適化のためのスコア分散抽出（SDS）とマルチビュー拡散プライアリーの活用。
• 4D（動的）コンテンツ生成のための新規パイプライン、例えば静的から動的への変換や動画から3D再構成へのアプローチを導入・検討。
• 現在のベンチマークの評価と改善提案、特に人間の評価に近い自動評価エバリュエーターや、幾何的・テクスチャ的忠実度を総合的に評価する指標の導入。

実験結果

リサーチクエスチョン

• RQ1 3Dコンテンツ生成手法を、現在の技術的状況を反映するように体系的に分類する方法は何か？
• RQ2 3Dネイティブ、2Dプライアリーベース、ハイブリッド3D生成アプローチの間で、主な技術的差異とトレードオフは何か？
• RQ3 現在の3D生成における主な制限要因は、幾何的品質、テクスチャの詳細、制御性、推論速度のどの分野に現れているか？
• RQ4 大規模かつ多様な3Dデータセットをどのように収集し、活用することで、非教師ありおよび自己教師ありの3D生成を向上させられるか？
• RQ5 基盤モデルやマルチモーダルLLMは、将来のAIGC-3Dシステムにおけるプログラマティックな3Dデザインと高水準な制御を実現するために、どのような役割を果たすか？

主な発見

• 本サーベイは、3Dデータの不足が背景にある中で、事前学習済み画像拡散モデルを活用する2Dプライアリーベース手法が、主に優勢であると特定した。
• 3Dネイティブ生成手法は、直接的な3D生成の可能性を秘めているものの、大規模な3Dデータセットの不足により課題に直面している。
• one2345++ や 4D-fy といったハイブリッド手法は、2Dプライアリーと3D拡散またはガウシアンスプラッティング最適化を組み合わせることで、品質の向上を実現している。
• 現在の4D生成パイプライン、例えば 4DGen や DreamGaussian4d は、マルチビュー拡散プライアリーを活用することで、時間的整合性と幾何的忠実度の両方を向上させている。
• 進展は見られるものの、高精細でコンパクトなメッシュに、豊富なテクスチャと正確な材料特性を再現する問題は、依然として解決されていない主な課題の一つである。
• 自動評価はまだ十分に発展していないが、人間による評価がゴールスタンダードのままである。一方で、Wu et al., 2024 が開発した Human-Aligned Evaluator といったツールが登場しつつある。