[論文レビュー] Strategic Dialogue Management via Deep Reinforcement Learning

Heriberto Cuayáhuitl, Simon Keizer+1 more|arXiv (Cornell University)|Nov 25, 2015

Topic Modeling参考文献 28被引用数 57

ひとこと要約

本論文は、ボードゲーム『Settlers of Catan』における戦略的対話エージェントの訓練を目的とした深層強化学習（DRL）フレームワークを提案する。エージェントは相互作用を通じて最適な取引戦略を学習可能であり、ランダム、ルールベース、教師ありのベースラインを上回り、3体のAI相手に対して53%の勝率を達成した。これは、高次元の状態空間と行動空間を持つ非協力的会話戦略を学習する際のDRLの有効性を示している。

ABSTRACT

Artificially intelligent agents equipped with strategic skills that can negotiate during their interactions with other natural or artificial agents are still underdeveloped. This paper describes a successful application of Deep Reinforcement Learning (DRL) for training intelligent agents with strategic conversational skills, in a situated dialogue setting. Previous studies have modelled the behaviour of strategic agents using supervised learning and traditional reinforcement learning techniques, the latter using tabular representations or learning with linear function approximation. In this study, we apply DRL with a high-dimensional state space to the strategic board game of Settlers of Catan---where players can offer resources in exchange for others and they can also reply to offers made by other players. Our experimental results report that the DRL-based learnt policies significantly outperformed several baselines including random, rule-based, and supervised-based behaviours. The DRL-based policy has a 53% win rate versus 3 automated players (`bots'), whereas a supervised player trained on a dialogue corpus in this setting achieved only 27%, versus the same 3 bots. This result supports the claim that DRL is a promising framework for training dialogue systems, and strategic agents with negotiation abilities.

研究の動機と目的

• 動的で相互作用的な環境において、戦略的かつ非協力的な交渉が可能な知能型対話エージェントの開発を目的とする。
• 深層強化学習を用いて、戦略的対話システムにおける大規模で高次元の状態空間と行動空間の課題を解決することを目的とする。
• 手動でコーディングされたルールや教師ありデータに依存せずに、オファー選択、受容、対案提示といった最適な取引戦略を自律的に学習できるエージェントの訓練を目的とする。
• ランダム、ヒューリスティック、教師ありポリシーを含む多様なベースラインと比較し、現実的なゲーム環境におけるDRLベースエージェントの性能を評価することを目的とする。
• DRLが複雑な社会的相互作用シナリオにおいて、競争的で適応的な戦略的行動を効果的に学習できることを示すこと

提案手法

• エージェントは、高次元の状態表現を行動価値にマッピングするための深層ニューラルネットワークを用いた深層Qネットワーク（DQN）を採用する。
• 状態表現は、リソース数、開発カード、集落の位置、勝利点を含む160個の非二値特徴から構成され、ゲーム状態を符号化する。
• 行動空間には、特定のリソース取引の提示、受け入れ・拒否、パスを含む73種類の異なる対話行動が含まれる。
• 勝利を促進するための密度、スパarsity、および形状付けられた報酬関数を用いて訓練を行い、勝利への近さとリソース獲得に基づいて形状付けられる。
• 学習の安定化のため、経験リプレイとターゲットネットワークを採用し、$ε$-グリーディーのε減少を用いて探索を実施する。
• 時間差分学習を用いてエンドツーエンドでポリシーを訓練し、全ゲームエピソードにわたる累積割引報酬を最適化する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、Settlers of Catanのような複雑で高次元のゲーム環境において、戦略的対話ポリシーを効果的に学習できるか？
• RQ2 DRLベースエージェントの性能は、ランダム、ルールベース、教師ありベースラインと比較して、勝率と戦略的適応性の面でどのように異なるか？
• RQ3 明示的な指導なしに、DRLエージェントは、いつ取引を受け入れたり拒否したり、対案を提示すべきかといった有効な交渉戦略をどの程度発見できるか？
• RQ4 形状付けられた報酬関数の使用は、戦略的対話学習におけるサンプル効率と最終的なポリシー性能を向上させるか？
• RQ5 DRLエージェントは異なる相手タイプに一般化し、非協力的かつ競争的な環境でも高い勝率を達成できるか？

主な発見

• DRLベースエージェントは、3体の自動プレーヤー（ボット）に対して53%の勝率を達成し、教師ありベースライン（27%勝率）を著しく上回った。
• DRLエージェントは、クロス評価においてすべてのベースラインエージェントを著しく上回り、強靭さと戦略的優位性を示した。
• DRLエージェントは、選択的オファー提示、対案提示、ゲーム状態に基づくタイミング決定といった複雑な戦略的行動を学習した。
• 160特徴の高次元状態表現と73行動の大きな行動空間を、深層ニューラルネットワークが効果的に管理し、ポリシーの一般化を可能にした。
• 著者による評価によると、本研究の結果は、Settlers of Catan環境において報告された最高の勝率を記録している。
• 本研究は、DRLが複雑な社会的環境における非協力的会話が可能な知的でインタラクティブなエージェントを訓練するための有望なフレームワークであることを確認した。