[論文レビュー] LLM-Driven 3D Scene Generation of Agricultural Simulation Environments

Arafa Yoncalik, Wouter Jansen+3 more|arXiv (Cornell University)|Feb 12, 2026

3D Shape Modeling and Analysis被引用数 0

ひとこと要約

論文は、資産検索、RAGによるドメイン知識の統合、コード生成を統合したモジュール式のマルチLLMパイプラインを提案し、自然言語プロンプトをUnreal Engineの3D農業シーンへ変換します。

ABSTRACT

Procedural generation techniques in 3D rendering engines have revolutionized the creation of complex environments, reducing reliance on manual design. Recent approaches using Large Language Models (LLMs) for 3D scene generation show promise but often lack domain-specific reasoning, verification mechanisms, and modular design. These limitations lead to reduced control and poor scalability. This paper investigates the use of LLMs to generate agricultural synthetic simulation environments from natural language prompts, specifically to address the limitations of lacking domain-specific reasoning, verification mechanisms, and modular design. A modular multi-LLM pipeline was developed, integrating 3D asset retrieval, domain knowledge injection, and code generation for the Unreal rendering engine using its API. This results in a 3D environment with realistic planting layouts and environmental context, all based on the input prompt and the domain knowledge. To enhance accuracy and scalability, the system employs a hybrid strategy combining LLM optimization techniques such as few-shot prompting, Retrieval-Augmented Generation (RAG), finetuning, and validation. Unlike monolithic models, the modular architecture enables structured data handling, intermediate verification, and flexible expansion. The system was evaluated using structured prompts and semantic accuracy metrics. A user study assessed realism and familiarity against real-world images, while an expert comparison demonstrated significant time savings over manual scene design. The results confirm the effectiveness of multi-LLM pipelines in automating domain-specific 3D scene generation with improved reliability and precision. Future work will explore expanding the asset hierarchy, incorporating real-time generation, and adapting the pipeline to other simulation domains beyond agriculture.

研究の動機と目的

• 自然言語プロンプトから農業シミュレーション環境を自動生成する動機づけ。
• 単一LLMアプローチにおけるドメイン推論と検証のギャップを克服するモジュール式パイプラインの開発。
• Asset階層検索、取得されたドメイン知識を用いたRetrieval-Augmented Generation、Unreal Engine用Pythonコード生成の統合。
• 定性的および定量的指標でパイプラインを評価し、単一LLMベースラインと比較。

提案手法

• 資産取得、RAGによるドメイン知識の強化、Unreal Engine向けコード生成の三段階モジュール式パイプライン。
• 成長段階、季節、健康状態を持つ果物・野菜を網羅する構造化資産階層を用い、プロンプトを資産パスにマッピング。
• 精度向上と幻覚の低減を図るハイブリッドLLM最適化（Few-shot prompting、ファインチューニング、RAG、検証）。
• FAISSベースの資産パスとドメインメタデータの意味検索と、プロンプトと整合性を確保する検証手順。
• コード生成LLMはUnreal Engine用実行可能なPythonスクリプトを出力し、生成後に資産パスとドメイン知識の整合性を検証。

実験結果

リサーチクエスチョン

• RQ1 LLMをモジュール式パイプラインに組み合わせて、自然言語からドメイン固有の3D農業シーンを生成するにはどうすればよいか？
• RQ2 資産取得とドメイン知識の強化は、単一LLMアプローチより精度と一貫性を向上させるか？
• RQ3 マルチLLMシステムの時間効率とユーザー評価の観点で、性能とリアルさの利点は何か？
• RQ4 サブクエリ正規化＋メタデータフィルタリングというハイブリッド検索は、ドメイン整合性のあるシーン生成にどのように影響するか？

主な発見

• モジュール式マルチLLMパイプラインは資産取得とドメインメタデータの整合性で高い精度を達成。
• 正規化と厳格なフィルタリングを用いたハイブリッド検索は、メイン一致ドメイン知識の精度を向上（Top-1 71% vs 82% in Table II）。
• コード生成の結果は、単一フィールドのプロンプトで資産の正しい使用とドメイン整合性を満たす実行可能なスクリプトを示す；複数フィールドのプロンプトでも同様だが、空間配置に一部問題。
• ユーザ調査は、適度なプロンプト適合性とリアリズムを示すが、資産と欠落した地形要素の視覚的不一致がある。
• 専門家評価は大幅な時間節約を示し、システム生成シーンは手動作成より明らかに高速（平均 ~49s対 ~94s/シーン）。
• 単一LLMベースラインと比較して、モジュール式アプローチはモジュラリティ、スケーラビリティ、正確性、柔軟性を向上させ、幻覚やパス形式エラーを減少させる。