[논문 리뷰] Tachikuma: Understading Complex Interactions with Multi-Character and Novel Objects by Large Language Models

Yuanzhi Liang, Linchao Zhu외 1명|arXiv (Cornell University)|2023. 07. 24.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 LLM 기반 에이전트에서 복잡한 다인자, 신규 객체 상호작용을 평가하기 위한 새로운 벤치마크이자 데이터셋인 Tachikuma를 소개한다. 테이블탑 롤플레잉게임(TRPG)에 영감을 받은 가상의 게임 마스터(GM)를 모델링함으로써 실시간 게임 플레이 로그를 통해 암묵적인 의도와 기반화된 상호작용을 향상시키며, 기준선 대비 자연스러움, 기반성, 사실 정확성 측면에서 뛰어난 성능을 달성한다.

ABSTRACT

Recent advancements in natural language and Large Language Models (LLMs) have enabled AI agents to simulate human-like interactions within virtual worlds. However, these interactions still face limitations in complexity and flexibility, particularly in scenarios involving multiple characters and novel objects. Pre-defining all interactable objects in the agent's world model presents challenges, and conveying implicit intentions to multiple characters through complex interactions remains difficult. To address these issues, we propose integrating virtual Game Masters (GMs) into the agent's world model, drawing inspiration from Tabletop Role-Playing Games (TRPGs). GMs play a crucial role in overseeing information, estimating players' intentions, providing environment descriptions, and offering feedback, compensating for current world model deficiencies. To facilitate future explorations for complex interactions, we introduce a benchmark named Tachikuma, comprising a Multiple character and novel Object based interaction Estimation (MOE) task and a supporting dataset. MOE challenges models to understand characters' intentions and accurately determine their actions within intricate contexts involving multi-character and novel object interactions. Besides, the dataset captures log data from real-time communications during gameplay, providing diverse, grounded, and complex interactions for further explorations. Finally, we present a simple prompting baseline and evaluate its performance, demonstrating its effectiveness in enhancing interaction understanding. We hope that our dataset and task will inspire further research in complex interactions with natural language, fostering the development of more advanced AI agents.

연구 동기 및 목표

• 현재 AI 에이전트 상호작용의 한계, 특히 다인자 역학과 암묵적인 의도를 지닌 신규 객체를 다룰 때의 문제를 해결하기 위해.
• 실시간이고 기반화된 언어적 복잡성을 갖추지 못한 정적 포럼 기반 데이터 수집에 의존하는 것에서 벗어나기 위해.
• 실제 TRPG 게임 플레이 로그에서 유래한 풍부하고 동적인 상호작용을 캡처하는 종합적인 벤치마크와 데이터셋을 개발하기 위해.
• 가상의 게임 마스터(GM) 역할을 통해 LLM 기반 에이전트가 복잡하고 맥락이 풍부한 상호작용을 이해하고 응답할 수 있는 능력을 향상시키기 위해.
• 자연스러움, 사실 정확성, 기반성 측면에서 AI가 생성한 GM 응답의 품질을 평가하고 향상시키기 위해.

제안 방법

• 에이전트가 복잡한 다인자, 신규 객체 상호작용을 이해하는 데 대한 평가를 위해 새로운 작업인 다인자 및 개방형 인스턴스 기반 상호작용 추정(MOE)을 제안한다.
• MOE 작업을 지원하기 위해 실시간 TRPG 게임 플레이 로그 기반의 데이터셋을 도입하여 다양한 기반화되고 동적인 상호작용을 캡처한다.
• 세 단계 생성 프로세스를 설계: 게임 상태 점검, 의도 추정, 구조화된 프롬프팅을 사용한 GM 발언 생성.
• MOE 예측 또는 진짜 값(Ground truth)을 통합한 프롬프팅 베이스라인을 활용해 LLM이 더 정확하고 자연스러운 GM 응답을 생성하도록 유도한다.
• 객관적 평가 지표(BLEU, ROUGE, 사실 정확성 등)와 주관적 인간 평가(자연스러움, 기반성, 사실 정확성)를 모두 활용해 성능을 평가한다.
• TRPG 메커니즘의 통찰—예: GM의 감독, 의도 추정, 피드백—을 활용해 세계 모델의 결함을 보완하는 가상의 GM을 모델링한다.

실험 결과

연구 질문

• RQ1 LLM은 복잡한 신규 객체 상호작용에서 다수의 캐릭터가 지닌 의도를 얼마나 잘 이해하고 예측할 수 있는가?
• RQ2 MOE 예측을 통합할 경우 TRPG에서 AI가 생성한 게임 마스터 응답의 품질은 어느 정도 향상되는가?
• RQ3 실시간이고 기반화된 TRPG 게임 플레이 로그가 복잡한 상호작용 작업에서 에이전트의 훈련과 평가를 효과적으로 지원할 수 있는가?
• RQ4 AI가 생성한 GM 발언의 사실 정확성, 자연스러움, 기반성은 인간이 작성한 응답과 비교해 어떻게 되는가?
• RQ5 진짜 값 대비 예측된 MOE 레이블을 사용할 경우 생성된 GM 응답의 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 프롬프팅 베이스라인에서의 MOE 레이블 또는 예측을 사용한 방법은 자연스러움, 기반성, 사실 정확성 전반에서 기준선을 초월하는 성능을 보였다.
• 프롬프팅 베이스라인은 기준선 방법 대비 사실 정확성에서 뚜렷한 향상을 이룩하며, 복잡한 상호작용에 대한 이해도 향상을 입증했다.
• 다른 방법들과 비교해 자연스러움과 기반성 측면에서 유사하거나 더 뛰어난 성능을 보이며, 고도로 인간다운 GM 발언을 생성함을 시사한다.
• 실제 TRPG 플레이어가 수행한 주관적 평가 결과, MOE 예측을 사용해 생성된 응답은 자연스러움, 기반성, 사실 정확성의 세 차원에서 실제 인간 GM의 응답과 유사하다고 확인되었다.
• 강력한 성능에도 불구하고, 생성된 발언은 때로 인간이 작성한 것보다 약간 지나치게 길고 생동감이 떨어지므로 향상 여지가 있음을 시사한다.
• MOE 성능과 GM 응답 품질 간의 강력한 상관관계는 MOE가 고도의 에이전트 상호작용을 위한 기초 작업임을 입증한다.