[論文レビュー] I Cast Detect Thoughts: Learning to Converse and Guide with Intents and Theory-of-Mind in Dungeons and Dragons

Pei Zhou, Andrew Zhu+6 more|arXiv (Cornell University)|Dec 20, 2022

Software Engineering Research被引用数 9

ひとこと要約

この論文では、コミュニケーション的意図と心の理論（ToM）を明示的にモデル化することで、目的志向的で文脈に根ざした誘導を生成するように、ダンジョンマスター（DM）を訓練するための新規タスクG4Cを紹介する。通信的意図とToM予測されたプレイヤー反応の整合性を報酬とする強化学習フレームワークを用いることで、従来の自然言語生成（NLG）手法と比較して、意図を満たす応答の発生率が3倍に向上した。

ABSTRACT

We propose a novel task, G4C, to study teacher-student natural language interactions in a goal-driven and grounded environment. Dungeons and Dragons (D&D), a role-playing game, provides an ideal setting to investigate such interactions. Here, the Dungeon Master (DM), i.e., the teacher, guides the actions of several players -- students, each with their own personas and abilities -- to achieve shared goals grounded in a fantasy world. Our approach is to decompose and model these interactions into (1) the DM's intent to guide players toward a given goal; (2) the DM's guidance utterance to the players expressing this intent; and (3) a theory-of-mind (ToM) model that anticipates the players' reaction to the guidance one turn into the future. We develop a novel reinforcement learning (RL) method for training a DM that generates guidance for players by rewarding utterances where the intent matches the ToM-anticipated player actions. Human and automated evaluations show that a DM trained to explicitly model intents and incorporate ToM of the players using RL generates better-quality guidance that is 3x more likely to fulfill the DM's intent than a vanilla natural language generation (NLG) approach.

研究の動機と目的

• ダンジョン・アドベンチャーのようなインタラクティブな環境における、目的志向的かつ文脈に根ざした自然言語コミュニケーションを研究すること。
• 既存の対話エージェントがコミュニケーション的意図と心の理論（ToM）を明示的にモデル化できないというギャップを解決すること。
• 生成された発話が意図した行動と予測されたプレイヤー反応の両者と整合するように、誘導品質を向上させる訓練フレームワークを開発すること。
• 訓練および評価用に、意図とToMのアノテーションを付与した大規模かつ高品質なデータセット（G-Dragon）を構築すること。
• 明示的な意図とToMモデル化が、AIが生成する誘導の整合性と目的志向性を向上させることの有効性を評価すること。

提案手法

• 共通の物語的世界に根ざした、教師の意図、誘導発話、学生の行動という3要素を核とするG4Cタスクを構築する。
• Callison-Burchら（2022）が収集した47,000件のD&Dトランスクライブをもとに、逆運動学的モデリング（IDM）を用いて意図と行動の高品質なラベルを抽出する。
• 大規模言語モデル（GPT-3）からコミュニケーション的意図を抽出し、それを誘導生成の明示的文脈として用いる。
• プレイヤーの次の行動をToMモデルで予測し、その予測行動がDMの意図した行動と一致するかどうかで報酬を与える強化学習（RL）エージェントを訓練する。
• ToM予測行動と望ましい意図の一致度を比較する報酬関数を設計し、エージェントが意図の達成を最適化できるようにする。
• 人間と自動評価メトリクスを統合し、生成された誘導の文脈的根拠、整合性、意図達成度を評価する。

実験結果

リサーチクエスチョン

• RQ1 明示的なコミュニケーション的意図のモデル化は、目的志向的かつ文脈に根ざした対話におけるAI生成誘導の質を向上させるか？
• RQ2 プレイヤーが誘導にどう反応するかを予測する心の理論（ToM）モデル化は、AI生成発話の有効性を高めうるか？
• RQ3 予測されたプレイヤー行動と意図した行動を一致させる強化学習アプローチが、どの程度意図の達成を改善するか？
• RQ4 ToMを統合したRLエージェントは、文脈に根ざした物語中心の対話において、標準的な自然言語生成（NLG）ベースラインと比較してどの程度優れているか？
• RQ5 自動および人間による評価メトリクスは、複雑な物語中心の対話において、意図の達成度と文脈的根拠を信頼性を持って捉えることができるか？

主な発見

• 明示的な意図モデリングとToMに基づく強化学習で訓練されたDMは、標準的なNLGベースラインと比較して、意図した行動を達成する確率が3倍に向上した。
• ToMを統合したRLエージェントは、意図達成率の観点から、DMの意図とプレイヤーの実際の反応との整合性が顕著に向上した。
• 人間による評価では、ToMを強化した誘導が、より整合性があり、文脈に根ざしており、望ましい行動にプレイヤーを誘導する効果的であることが確認された。
• 自動評価メトリクスは人間の判断と強く相関しており、文脈的根拠と意図達成度の評価に有効であることが裏付けられた。
• この手法は、文脈的に適切でありながら戦略的に効果的な物語中心のロールプレイングゲームにおける誘導生成において、従来のNLGを上回った。
• 47,000件のD&D対話から構築されたG-Dragonデータセットは、目的志向的かつ文脈に根ざした対話システムの訓練および評価に適した豊富で高品質なリソースを提供している。