[論文レビュー] Tachikuma: Understading Complex Interactions with Multi-Character and Novel Objects by Large Language Models

Yuanzhi Liang, Linchao Zhu+1 more|arXiv (Cornell University)|Jul 24, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、LLMベースのエージェントにおける複雑なマルチキャラクタ、新規オブジェクトの相互作用を評価するための新規ベンチマークおよびデータセット、Tachikumaを紹介する。テーブルトップロールプレイングゲーム（TRPG）を模した仮想ゲームマスター（GM）をモデル化することにより、リアルタイムのプレイログを通じて内面的な意図や文脈に根ざした相互作用の理解が向上し、ベースラインと比較して自然さ、文脈への根拠、事実の正確性の面で優れた性能を達成する。

ABSTRACT

Recent advancements in natural language and Large Language Models (LLMs) have enabled AI agents to simulate human-like interactions within virtual worlds. However, these interactions still face limitations in complexity and flexibility, particularly in scenarios involving multiple characters and novel objects. Pre-defining all interactable objects in the agent's world model presents challenges, and conveying implicit intentions to multiple characters through complex interactions remains difficult. To address these issues, we propose integrating virtual Game Masters (GMs) into the agent's world model, drawing inspiration from Tabletop Role-Playing Games (TRPGs). GMs play a crucial role in overseeing information, estimating players' intentions, providing environment descriptions, and offering feedback, compensating for current world model deficiencies. To facilitate future explorations for complex interactions, we introduce a benchmark named Tachikuma, comprising a Multiple character and novel Object based interaction Estimation (MOE) task and a supporting dataset. MOE challenges models to understand characters' intentions and accurately determine their actions within intricate contexts involving multi-character and novel object interactions. Besides, the dataset captures log data from real-time communications during gameplay, providing diverse, grounded, and complex interactions for further explorations. Finally, we present a simple prompting baseline and evaluate its performance, demonstrating its effectiveness in enhancing interaction understanding. We hope that our dataset and task will inspire further research in complex interactions with natural language, fostering the development of more advanced AI agents.

研究の動機と目的

• 現在のAIエージェントの相互作用における限界、特にマルチキャラクタのダイナミクスや内面的な意図を伴う新規オブジェクトの処理の不十分さを是正すること。
• 静的でフォーラムベースのデータ収集に依存する現状の問題を克服し、リアルタイムで根拠に基づいた言語的複雑性を備えたデータを提供すること。
• 本物のTRPGプレイログから得られる豊富でダイナミックな相互作用を捉えた包括的なベンチマークおよびデータセットの開発。
• 仮想ゲームマスター（GM）の役割を通じて、LLMベースのエージェントが文脈的に豊かな複雑な相互作用を理解し、それに応答する能力を向上させること。
• 自然さ、事実の正確性、文脈への根拠の観点から、AIが生成するGMの応答の質を評価・向上させること。

提案手法

• エージェントが複雑でマルチキャラクタ、新規オブジェクトの相互作用を理解しているかを評価するための新規タスク、Multiple character and Open instances based interaction Estimation（MOE）を提案する。
• MOEタスクを支援するため、リアルタイムのTRPGプレイログに基づくデータセットを導入し、多様で根拠に基づいたダイナミックな相互作用を捉える。
• 3段階の生成プロセス（ゲーム状態の確認、意図の推定、GM発話の生成）を設計し、構造化されたプロンプトを用いる。
• MOEの予測値または真値を統合したプロンプトベースラインを採用し、LLMがより正確で自然なGMの応答を生成できるように誘導する。
• 客観的指標（例：BLEU、ROUGE、Factual Accuracy）と主観的な人間評価（自然さ、文脈への根拠、事実の正確性）を併用して性能を評価する。
• TRPGのメカニクス（GMの監視、意図の推定、フィードバック）の知見を活用し、世界モデルの欠陥を補う仮想GMをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 LLMは、複雑で新規オブジェクトを含むマルチキャラクタの相互作用において、複数のキャラクタの意図をどれほど的確に理解し、予測できるか？
• RQ2 MOEの予測値を統合することで、TRPGにおけるAIが生成するゲームマスターの応答の質はどの程度向上するか？
• RQ3 TRPGのリアルタイムで根拠に基づいたプレイログは、複雑な相互作用タスクにおけるエージェントの訓練および評価に効果的に活用できるか？
• RQ4 AIが生成するGM発話の事実の正確性、自然さ、文脈への根拠は、人間が書いた応答と比べてどの程度か？
• RQ5 真値ラベルと予測ラベルの両方を用いた場合、生成されるGM応答の質にどのような影響があるか？

主な発見

• 提案されたプロンプトベースラインからのMOEラベルまたは予測値を用いた手法は、自然さ、文脈への根拠、事実の正確性のすべての評価要因でベースラインを上回る性能を示した。
• プロンプトベースラインは、ベースライン手法と比較して、複雑な相互作用の理解が向上したことで、事実の正確性が顕著に向上した。
• 自然さと文脈への根拠の観点でも、他の手法と同等またはそれ以上の性能を示し、高品質で人間らしいGMの応答であることが示された。
• 本物のTRPGプレイヤーによる主観的評価では、MOE予測値を用いて生成された応答が、自然さ、文脈への根拠、事実の正確性の3次元すべてにおいて、人間のGMに近いと確認された。
• 強力な性能を発揮しているものの、生成された発話は依然として人間が書いたものほどに簡潔でなく、描写がやや乏しい場合があり、改善の余地が残っている。
• MOEの性能とGM応答の質との強い相関関係は、MOEが高度なエージェント相互作用の基盤となる重要なタスクであることを裏付けている。