[论文解读] LLMR: Real-time Prompting of Interactive Worlds using Large Language Models

Fernanda De La Torre, Cathy Mengying Fang+4 more|arXiv (Cornell University)|Sep 21, 2023

Educational Games and Gamification被引用 10

一句话总结

LLMR 是一个框架，通过协调专门的 GPT 模块（Planner, Scene Analyzer, Builder, Inspector, Skill Library）与运行时 Roslyn 编译器，实时生成并编辑 Unity 中的互动 3D 场景，实现在鲁棒、实时的 MR 体验。

ABSTRACT

We present Large Language Model for Mixed Reality (LLMR), a framework for the real-time creation and modification of interactive Mixed Reality experiences using LLMs. LLMR leverages novel strategies to tackle difficult cases where ideal training data is scarce, or where the design goal requires the synthesis of internal dynamics, intuitive analysis, or advanced interactivity. Our framework relies on text interaction and the Unity game engine. By incorporating techniques for scene understanding, task planning, self-debugging, and memory management, LLMR outperforms the standard GPT-4 by 4x in average error rate. We demonstrate LLMR's cross-platform interoperability with several example worlds, and evaluate it on a variety of creation and modification tasks to show that it can produce and edit diverse objects, tools, and scenes. Finally, we conducted a usability study (N=11) with a diverse set that revealed participants had positive experiences with the system and would use it again.

研究动机与目标

• 激发在基于 Unity 的混合现实中，使用 LLM 实时生成和修改互动 3D 场景。
• 构建一个模块化的 LLM 驱动管道，解决数据稀缺和复杂场景合成任务。
• 通过迭代检查和内存管理，提升鲁棒性，减少生成的 Unity/C# 脚本中的代码错误。
• 展示生成场景的跨平台互操作性和实时执行能力。
• 提供可用性证据和开放资源，鼓励未来在 AI 辅助 MR 场景创作方面的工作。

提出的方法

• 提出 LLMR 作为专门 GPT 的编排（Planner, Scene Analyzer, Builder, Inspector, Skill Library）以生成 Unity C# 代码。
• 使用运行时 Roslyn 编译器，在 Unity 中编译并执行生成的脚本，以实现实时场景创建。
• 引入 Builder-Inspector 反馈环路，在执行前自我调试代码。
• 实现 Scene Analyzer，以在简洁表示上总结场景状态并条件化代码生成。
• 纳入带有内存模式的内存管理策略，以平衡令牌限制、性能和可解释性。
• 使用消融实验、跨平台演示以及一项用户研究（N=11）来评估可用性和鲁棒性。

实验结果

研究问题

• RQ1 实时提示驱动的生成是否能够在 Unity 中使用 LLM 产生可用的、交互式的 3D 场景？
• RQ2 Planner、Scene Analyzer、Builder、Inspector 和 Skill Library 组件如何协作以提升鲁棒性和降低错误？
• RQ3 在一个由 LLM 驱动的 MR 流程中，内存管理对令牌使用、性能和可解释性有何影响？
• RQ4 LLMR 在多设备和插件上的跨平台互操作性与实时响应性能达到多大程度？
• RQ5 非专业参与者使用 LLMR 进行场景创建与修改的用户体验如何？

主要发现

• LLMR 的表现超过现成的 GPT-4，在空场景和现有场景中，代码错误减少超过 3 倍。
• 系统在任务序列上的完成时间大约为一分钟。
• 以 Planner、Scene Analyzer、Builder、Inspector 以及 Skill Library 组成的结构化模块化管道，通过代码-检查器反馈环路提升鲁棒性。
• 一项包含 11 名参与者的可用性研究报告，使用直观且愿意重复使用该系统。
• 跨平台演示显示与 Unity、Sketchfab 插件和外部传感器的互操作性，支持多样化的 MR 工作流。