[论文解读] Tachikuma: Understading Complex Interactions with Multi-Character and Novel Objects by Large Language Models

Yuanzhi Liang, Linchao Zhu+1 more|arXiv (Cornell University)|Jul 24, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出了 Tachikuma，一个用于评估基于大语言模型（LLM）的智能体在复杂多角色、新对象交互中表现的新型基准与数据集。通过模拟受桌上角色扮演游戏（TRPG）启发的虚拟游戏主控（GM），该方法借助实时游戏日志，增强了对隐含意图和具身交互的理解，在自然性、具身性和事实正确性方面优于基线模型。

ABSTRACT

Recent advancements in natural language and Large Language Models (LLMs) have enabled AI agents to simulate human-like interactions within virtual worlds. However, these interactions still face limitations in complexity and flexibility, particularly in scenarios involving multiple characters and novel objects. Pre-defining all interactable objects in the agent's world model presents challenges, and conveying implicit intentions to multiple characters through complex interactions remains difficult. To address these issues, we propose integrating virtual Game Masters (GMs) into the agent's world model, drawing inspiration from Tabletop Role-Playing Games (TRPGs). GMs play a crucial role in overseeing information, estimating players' intentions, providing environment descriptions, and offering feedback, compensating for current world model deficiencies. To facilitate future explorations for complex interactions, we introduce a benchmark named Tachikuma, comprising a Multiple character and novel Object based interaction Estimation (MOE) task and a supporting dataset. MOE challenges models to understand characters' intentions and accurately determine their actions within intricate contexts involving multi-character and novel object interactions. Besides, the dataset captures log data from real-time communications during gameplay, providing diverse, grounded, and complex interactions for further explorations. Finally, we present a simple prompting baseline and evaluate its performance, demonstrating its effectiveness in enhancing interaction understanding. We hope that our dataset and task will inspire further research in complex interactions with natural language, fostering the development of more advanced AI agents.

研究动机与目标

• 为解决当前 AI 智能体交互中的局限性，特别是处理多角色动态与具有隐含意图的新对象的能力。
• 克服对静态论坛式数据集的依赖，这些数据集缺乏实时性与具身的语言复杂性。
• 开发一个全面的基准与数据集，以捕捉真实 TRPG 游戏日志中的丰富、动态交互。
• 通过虚拟游戏主控（GM）角色，提升基于大语言模型的智能体理解并回应复杂、上下文丰富的交互能力。
• 在自然性、事实正确性与具身性方面，评估并提升 AI 生成 GM 响应的质量。

提出的方法

• 提出一项新任务——基于多角色与开放实例的交互估计（MOE），用于评估智能体对复杂多角色、新对象交互的理解能力。
• 引入基于实时 TRPG 游戏日志的数据集，以支持 MOE 任务，捕捉多样化、具身且动态的交互。
• 设计三阶段生成流程：游戏状态检查、意图估计与使用结构化提示的 GM 话语生成。
• 采用提示基线方法，通过引入 MOE 预测结果或真实标签，引导大语言模型生成更准确、更自然的 GM 响应。
• 结合客观指标（如 BLEU、ROUGE、事实正确性）与主观人类评估（自然性、具身性、事实正确性）来评估性能。
• 借鉴 TRPG 机制中的要素——如 GM 监控、意图估计与反馈机制——以建模虚拟 GM，弥补世界模型的不足。

实验结果

研究问题

• RQ1 大语言模型在复杂、新对象交互中，对多个角色的意图理解与预测能力如何？
• RQ2 在 TRPG 中，引入 MOE 预测在多大程度上能提升 AI 生成的游戏主控响应质量？
• RQ3 来自 TRPG 的实时、具身游戏日志能否有效支持复杂交互任务中智能体的训练与评估？
• RQ4 AI 生成的 GM 话语在事实正确性、自然性与具身性方面，与人类编写的响应相比如何？
• RQ5 使用真实标签与预测 MOE 标签对生成 GM 响应质量的影响有何差异？

主要发现

• 采用本文提示基线生成的 MOE 标签或预测结果的方法，在所有评估维度（自然性、具身性与事实正确性）上均优于基线方法。
• 与基线方法相比，提示基线在事实正确性方面实现了显著提升，表明其对复杂交互有更深入的理解。
• 该方法在自然性与具身性方面表现相当或更优，表明生成的 GM 响应质量高，具有类人特征。
• 真实人类 TRPG 玩家的主观评估确认，结合 MOE 预测生成的响应在自然性、具身性与事实正确性三个维度上均更接近真实人类 GM。
• 尽管性能优异，生成话语仍偶有冗长且不如人类书写生动，表明仍有改进空间。
• MOE 表现与 GM 响应质量之间的强相关性凸显了 MOE 作为高级智能体交互基础任务的重要性。