[論文レビュー] I love your chain mail! Making knights smile in a fantasy game world: Open-domain goal-oriented dialogue agents

Shrimai Prabhumoye, Margaret Li+5 more|arXiv (Cornell University)|Feb 7, 2020

Speech and dialogue systems参考文献 34被引用数 8

ひとこと要約

本論文は、豊かなファンタジー系テキストベースのゲーム環境において、エージェントが自然な会話によって他者を誘導し、特定の行動を実行させるという、新しいオープンドメインで目的志向の対話タスクを提示する。トピックモデリングまたはトップ-k発話選択を用いた強化学習により、模倣学習および逆モデルベースラインを上回る性能を達成し、3ステップタスクで56.1%の成功率を記録した。また、世界知識に基づいた人間らしい発話生成が可能である。

ABSTRACT

Dialogue research tends to distinguish between chit-chat and goal-oriented tasks. While the former is arguably more naturalistic and has a wider use of language, the latter has clearer metrics and a straightforward learning signal. Humans effortlessly combine the two, for example engaging in chit-chat with the goal of exchanging information or eliciting a specific response. Here, we bridge the divide between these two domains in the setting of a rich multi-player text-based fantasy environment where agents and humans engage in both actions and dialogue. Specifically, we train a goal-oriented model with reinforcement learning against an imitation-learned ``chit-chat'' model with two approaches: the policy either learns to pick a topic or learns to pick an utterance given the top-K utterances from the chit-chat model. We show that both models outperform an inverse model baseline and can converse naturally with their dialogue partner in order to achieve goals.

研究の動機と目的

• 会話と目的志向の対話の間のギャップを埋めるために、エージェントが自然な会話によって行動を達成する現実的でオープンドメインの環境を構築すること。
• 特定のゲーム内行動（例：鎖の鎧を着る、蜂蜜酒を飲む）を実行させるために、効果的な会話戦略を学ぶ強化学習エージェントを開発すること。
• 複雑で文脈に根ざした会話設定において、潜在的トピックまたはトップ-k発話選択を用いた強化学習が、模倣学習および逆モデルベースラインを上回るかを評価すること。
• 複数ターンで継続するオープンエンドな会話タスクにおいて、モデルの一般化能力、過学習、発話の繰り返しパターンを分析すること。

提案手法

• タスクは、663の場所、1755体のキャラクター、3462のオブジェクトを有するテキストベースのファンタジー世界であるLIGHTゲーム環境で実施され、自由な形式の会話と文脈に根ざした行動をサポートしている。
• エージェントは強化学習により、会話相手にターゲット行動（例：抱擁、飲酒、装備）を実行させる発話を選択するように訓練され、ターゲット行動が実行された際に報酬が与えられる。
• 2つの強化学習アプローチを用いる：(1) 発話生成を導くトピックを選択するトピックベースのポリシー、(2) 事前に訓練された会話モデルの上位-k出力をサンプリングするトップ-k発話選択法。
• 人間のプレイデータ（10,777エピソード）を用いて、模倣学習ベースラインを訓練し、会話文脈から行動を予測する逆モデルを学習する。
• モデルは1ステップおよび3ステップタスクで評価され、ターゲット行動の達成率によって性能が測定される。
• トレーニングには、トレーニング・バリデーション・テストに分割された人間プレイデータを用い、既知および未知の環境を含む。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、豊かなオープンワールド環境において、自然で文脈的に適切な会話を生成し、他者を特定のゲーム内行動に誘導できるか？
• RQ2 強化学習において潜在的トピックまたはトップ-k発話選択を用いることで、模倣学習や逆モデルベースラインを上回る行動達成性能が得られるか？
• RQ3 行動タイプ（例：抱擁、攻撃、飲酒）やタスク難易度（1ステップ vs. 3ステップ可能）に応じて、モデルの性能と一般化能力はどのように変化するか？
• RQ4 モデルはどの程度意味的に意味のある言語と世界の関係を学習しており、発話の繰り返しと整合性はどのように比較されるか？

主な発見

• トピックベース強化学習モデルは、3ステップタスクで56.1%の成功率を達成し、逆モデルベースラインおよび1ステップ3倍ベースラインを顕著に上回った。特に長期間タスクでは性能が劣化していた。
• トップ-k発話選択法も逆モデルベースラインを上回り、モデル容量（K値またはトピック数）が増加するにつれて性能が向上し、K=200または200トピックでピークに達した。
• トピックベース強化学習モデルは意味的に意味のある発話を学習しており、例として『これ、ちょっと味わってみて』（飲酒目的）や『うわ、いやらしき獣よ、触るな！』（攻撃目的）といった発話が得られ、文脈に根ざした言語理解が示された。
• 行動タイプによって性能に差があり、明確で簡単な行動（例：抱きしめ：85%、攻撃：75%）が最も高い成功率を示した。一方、曖昧な行動（例：手渡し、手放し、受け取る）は低い成功率を示した。
• 1ステップで達成できない目標は著しく困難であり、モデルの成功率が著しく低く、今後の研究における主要な挑戦であることが示された。
• トピックベース強化学習モデルは25.8%の頻度で発話を繰り返しており（平均15.59%）、1ステップ3倍ベースライン（37.3%および22.94%）よりも低い繰り返し率を示し、より多様で冗長性の低い発話を生成していることが示された。