[論文レビュー] A User Simulator for Task-Completion Dialogues

Xiujun Li, Zachary C. Lipton+4 more|arXiv (Cornell University)|Dec 17, 2016

Speech and dialogue systems参考文献 8被引用数 140

ひとこと要約

この論文は、公開された、ハイブリッドのルールベースとモデルベースのユーザーシミュレータを、映画予約ドメインのタスク完了対話のために提供し、RLベースの方針学習と実証的エージェント比較を容易にする。

ABSTRACT

Despite widespread interests in reinforcement-learning for task-oriented dialogue systems, several obstacles can frustrate research and development progress. First, reinforcement learners typically require interaction with the environment, so conventional dialogue corpora cannot be used directly. Second, each task presents specific challenges, requiring separate corpus of task-specific annotated data. Third, collecting and annotating human-machine or human-human conversations for task-oriented dialogues requires extensive domain knowledge. Because building an appropriate dataset can be both financially costly and time-consuming, one popular approach is to build a user simulator based upon a corpus of example dialogues. Then, one can train reinforcement learning agents in an online fashion as they interact with the simulator. Dialogue agents trained on these simulators can serve as an effective starting point. Once agents master the simulator, they may be deployed in a real environment to interact with humans, and continue to be trained online. To ease empirical algorithmic comparisons in dialogues, this paper introduces a new, publicly available simulation framework, where our simulator, designed for the movie-booking domain, leverages both rules and collected data. The simulator supports two tasks: movie ticket booking and movie seeking. Finally, we demonstrate several agents and detail the procedure to add and test your own agent in the proposed framework.

研究の動機と目的

• 使い回し可能なユーザーシミュレータを提供することで、タスク指向の対話に対する強化学習を動機付け、実現する。
• agendaベースのユーザーモデリングとデータ駆動型NLGを組み合わせるシミュレータを提案し、2つのタスク：movie ticket bookingとmovie seekingをサポートする。
• 対話方針とエージェントの実証比較を容易にするためのフレームワークとデータセットを提供する。

提案手法

• アジェンダベースでスタック状のユーザーモデルを用いて、ユーザーのゴールと対話履歴を表現・更新する。
• 適切な場合にNLU/NLPノイズを模倣するエラーモデルを用いて、現在のユーザー状態と直前のシステムアクションから各ターンのユーザーアクションを生成する。
• 堅牢な発話を得るため、テンプレートベースとシーケンスツーシーケンス生成を組み合わせたハイブリッドな自然言語生成アプローチを採用する。
• 公開シミュレーションフレームワークとデータセット内で、2つのタスク（movie ticket bookingとmovie seeking）をサポートする。
• カスタムエージェントとシミュレータを組み込むための拡張可能なエージェント・シミュレータインターフェースを提供する。

実験結果

リサーチクエスチョン

• RQ1 再利用可能でタスク指向のユーザーシミュレータをどのように設計すれば、RLベースの対話方針学習と公正なエージェント比較を可能にできるか？
• RQ2 ハイブリッド（agendaベースとデータ駆動）ユーザーシミュレーションフレームワークは、映画ドメインのタスク完了対話を効果的にサポートできるか？
• RQ3 政策学習の訓練またはテストにおいてNLU/NLGノイズを取り入れることの影響は何か？
• RQ4 研究者は提案されたフレームワーク内で自分のエージェントを追加・テストする方法は？

主な発見

• このシミュレータは映画ドメインの2つのタスクタイプをサポートします：チケット予約と映画探し。
• 実験は、RLエージェントがシミュレータを対象に訓練され、成功率、平均報酬、平均ターン数などの指標で評価できることを示している。
• ハイブリッドNLGアプローチ（テンプレートベースとビームサーチを用いたモデルベースの組み合わせ）は、ダイアログアクションから自然な発話を生成するのに役立つ。
• NLUが評価ループの一部でない場合に、NLUとスロットレベルのノイズを模倣するエラーモデルが使用される。
• フレームワークは、実行可能な例と新しいエージェントやユーザーシミュレータを組み込むコードベースを提供します。
• 著者らは、モデルベースのシミュレーションの統合やユーザーゴールの変化への対応を含むトレードオフと今後の方向性について論じています。