[論文レビュー] LLMR: Real-time Prompting of Interactive Worlds using Large Language Models

Fernanda De La Torre, Cathy Mengying Fang+4 more|arXiv (Cornell University)|Sep 21, 2023

Educational Games and Gamification被引用数 10

ひとこと要約

LLMR は、専門的 GPT モジュール（Planner、Scene Analyzer、Builder、Inspector、Skill Library）を runtime Roslyn コンパイラと連携させて Unity でインタラクティブな 3D シーンをリアルタイム生成・編集するフレームワーク。頑健でリアルタイムな MR 経験を実現。

ABSTRACT

We present Large Language Model for Mixed Reality (LLMR), a framework for the real-time creation and modification of interactive Mixed Reality experiences using LLMs. LLMR leverages novel strategies to tackle difficult cases where ideal training data is scarce, or where the design goal requires the synthesis of internal dynamics, intuitive analysis, or advanced interactivity. Our framework relies on text interaction and the Unity game engine. By incorporating techniques for scene understanding, task planning, self-debugging, and memory management, LLMR outperforms the standard GPT-4 by 4x in average error rate. We demonstrate LLMR's cross-platform interoperability with several example worlds, and evaluate it on a variety of creation and modification tasks to show that it can produce and edit diverse objects, tools, and scenes. Finally, we conducted a usability study (N=11) with a diverse set that revealed participants had positive experiences with the system and would use it again.

研究の動機と目的

• Unity ベースの混合現実で、LLMs を用いたリアルタイム生成とインタラクティブな 3D シーンの変更を動機づける。
• データが不足しやすく複雑なシーン合成タスクに取り組むモジュール式の LLM 主導パイプラインを開発する。
• 反復的な検査とメモリ管理によって Unity/C# スクリプトの堅牢性を向上させ、コードエラーを減らす。
• 生成シーンのクロスプラットフォーム相互運用性とリアルタイム実行を実証する。
• AI 支援 MR シーン作成における今後の研究を促す使いやすさの証拠と公開リソースを提供する。

提案手法

• LLMR を、Unity C# コードを生成するための Planner、Scene Analyzer、Builder、Inspector、Skill Library といった専門 GPT のオーケストレーションとして提案する。
• ランタイム Roslyn コンパイラを使用して、生成されたスクリプトを Unity 内でコンパイル・実行し、リアルタイムのシーン作成を実現する。
• Builder-Inspector フィードバックループを導入し、実行前にコードを自己デバッグする。
• Scene Analyzer を導入してシーン状態を要約し、コンパクトな表現でコード生成を条件付ける。
• メモリ管理戦略を導入し、メモリモードでトークン制限、パフォーマンス、解釈性のバランスを取る。
• アブレーション、クロスプラットフォームデモ、ユーザ study（N=11）を用いて使いやすさと堅牢性を評価する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムの prompting 主導生成で、LLMs を用いて Unity で機能的なインタラクティブな 3D シーンを生成できるか？
• RQ2 Planner、 Scene Analyzer、 Builder、 Inspector、 Skill Library の各コンポーネントは、堅牢性を高め、エラーを減らすためにどのように相互作用するか？
• RQ3 メモリ管理が、トークン使用量、パフォーマンス、解釈性に与える影響は、LLM 主導の MR パイプラインでどの程度か？
• RQ4 LLMR はデバイスやプラグイン間でのクロスプラットフォーム相互運用性とリアルタイム応答性をどの程度実現できるか？
• RQ5 非専門の参加者がシーン作成・変更に LLMR を使用する際のユーザー体験はどうか？

主な発見

• LLMR は既成の GPT-4 よりも優れており、空のシーンと既存のシーンの両方でコードエラーを 3x 以上低減した。
• システムはタスクのシーケンスに対して約 1 分の完了時間を達成する。
• Planner、Scene Analyzer、Builder、Inspector、Skill Library を備えた構造化されたモジュール型パイプラインは、コード検査官フィードバックループを介して堅牢性を向上させる。
• 11 名の参加者を対象とした使いやすさ調査では、直感的な使用と再利用意欲が報告された。
• クロスプラットフォームのデモは、Unity、Sketchfab プラグイン、外部センサーとの相互運用性を示し、 versatile MR ワークフローをサポートする。