[論文レビュー] SceneX: Procedural Controllable Large-scale Scene Generation

Mengqi Zhou, Yuxi Wang+6 more|arXiv (Cornell University)|Mar 23, 2024

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

Scene𝒳 は、大規模で手続き的かつ制御可能な3Dシーン生成フレームワークを、大規模言語モデル（LLMs）によって駆動することで、非専門家が自然言語の指示によって高精細で写真のようなリアリズムを持つシーン（例：2.5 km × 2.5 km の都市）を生成可能にする。本システムは、PCGBench（手続き的アセットとAPIドキュメントのキュレート済みライブラリ）とPCGPlanner（実行可能なBlender操作を生成するLLMエージェント）を活用し、シーン作成時間を数週間から数時間に短縮するとともに、細かく制御可能な編集とスタイル転送を可能にしている。

ABSTRACT

Developing comprehensive explicit world models is crucial for understanding and simulating real-world scenarios. Recently, Procedural Controllable Generation (PCG) has gained significant attention in large-scale scene generation by enabling the creation of scalable, high-quality assets. However, PCG faces challenges such as limited modular diversity, high expertise requirements, and challenges in managing the diverse elements and structures in complex scenes. In this paper, we introduce a large-scale scene generation framework, SceneX, which can automatically produce high-quality procedural models according to designers' textual descriptions. Specifically, the proposed method comprises two components, PCGHub and PCGPlanner. The former encompasses an extensive collection of accessible procedural assets and thousands of hand-craft API documents to perform as a standard protocol for PCG controller. The latter aims to generate executable actions for Blender to produce controllable and precise 3D assets guided by the user's instructions. Extensive experiments demonstrated the capability of our method in controllable large-scale scene generation, including nature scenes and unbounded cities, as well as scene editing such as asset placement and season translation.

研究の動機と目的

• 点群やラディアンスフィールドのような互換性のない3Dプリミティブではなく、手続き的モデリングを用いることで、学術的3Dシーン生成と産業的展開のギャップを埋める。
• 手続き的コンテンツ生成（PCG）の高い学習曲線を軽減し、非専門家が自然言語の指示によって複雑なシーンを生成できるようにする。
• LLMエージェントパイプラインを通じて、高精細で制御可能で編集可能な大規模なシーン生成（アセット配置や季節的スタイル転送を含む）を可能にする。
• LLMとBlenderなどの手続き的生成ツールを統合したスケーラブルで再利用可能なフレームワークを開発し、効率性と使いやすさを向上させる。

提案手法

• 本フレームワークは2つのコアコンponentsで構成される：PCGBench（例：地形、都市、植生を含む手続き的アセットのキュレート済みリポジトリおよび数千件の手作業で作成されたAPIドキュメンテーションエントリ）。
• PCGPlannerは、ユーザーの指示に基づき、Blender用の実行可能で段階的なアクションを生成するLLMベースのエージェントであり、ロール、タスク、例、ドキュメンテーションのコンponentsを含むプロンプトテンプレートを用いている。
• プロンプトエンジニアリング戦略では、構造化されたテンプレートを用い、ロール定義、タスク仕様、例、APIドキュメンテーションを統合することで、計画の正確性と実行可能性を向上させている。
• 本システムはLLM（例：GPT-4、Mistral）を用いて自然言語プロンプトを解釈し、Blenderにおける正当な手続き的生成コマンドにマッピングすることで、正しいかつ実行可能なアクションシーケンスを保証している。
• ユーザーの指示が変更された場合に再計画することで、繰り返しの編集とスタイル転送（例：季節変換）をサポートしている。
• 50件のシーン生成タスクおよび50件のアセット生成タスクにおいて、成功確率（SR@1）と実行可能率（ER@1）を用いた定量的ベンチマーク評価を実施。複数のLLMを用いた比較評価も実施。

実験結果

リサーチクエスチョン

• RQ1 LLM駆動のエージェントは、専門的な手続き的モデリング知識が不要な状態で、自然言語の記述に基づき実行可能で高精細な手続き的3Dシーンを生成できるか？
• RQ2 構造化されたAPIドキュメンテーションおよびプロンプトコンponents（例：例、ロール）の導入が、生成された手続き的計画の正確性と実行可能性に与える影響はいかほどか？
• RQ3 本フレームワークは、テキスト入力のみで詳細なジオメトリ、テクスチャ、照明を備えた大規模でリアルなシーン（例：2.5 km × 2.5 km の都市）を生成できるか？
• RQ4 GPT-4、Mistral、Llama2 などの異なるLLMの性能は、複雑な3Dシーンの正しいかつ実行可能な手続き的生成計画を生成する際、どのように異なるか？
• RQ5 本システムは、アセットの再配置や季節的スタイル転送といった細かく制御可能な編集タスクを、高い計画正確性とシーン品質を維持しながらサポートできるか？

主な発見

• 提案されたScene𝒳フレームワークにより、プロフェッショナルなPCGエンジニアが2週間以上を要する2.5 km × 2.5 km の都市の生成が、非専門家ユーザーでは数時間で可能となった。
• GPT-4は自然シーン生成において最高の成功確率（SR@1 = 86.05%）と実行可能率（ER@1 = 86.00%）を達成し、Mistral や Llama2 などの他のLLMを上回った。
• 構造化されたプロンプトコンponents（特に例とドキュメンテーション）の使用により、計画の成功が顕著に向上し、ER@1はコンponentsなしの16.00%からフルテンプレートの94.00%に上昇した。
• Mistralは、GPT-4に比べてハードウェア要件が低く、オープンソースとしての強力な代替手段として浮上し、シーン生成において76.00%のER@1と68.42%のSR@1を達成した。
• 本フレームワークは、アセット配置や季節変換を含む編集タスクにおいても、多様なユーザーの指示に対して高い計画正確性を維持して高い性能を示した。
• 本システムの成功は、基盤となるPCGBenchおよびAPIドキュメンテーションの品質に強く依存しており、特に複数のコンponentを含む複雑なシーンでは、推論の負荷が増加し、性能が低下する傾向にあった。