[論文レビュー] Subgoal Discovery for Hierarchical Dialogue Policy Learning

Da Tang, Xiujun Li+4 more|arXiv (Cornell University)|Apr 20, 2018

Speech and dialogue systems被引用数 3

ひとこと要約

本稿では、成功した対話軌道から意味のある部分目標を自動的に特定する非教師あり手法であるSubgoal Discovery Network（SDN）を提案する。この手法により、複雑なタスク指向対話における階層強化学習（HRL）が可能となり、人為的に定義された部分目標が不要となる。成功したパス内で頻繁に訪問される「ハブ」状態を検出することで、人為的定義のない部分目標を用いた効率的な方策学習が可能となり、模擬ユーザーおよび実際のユーザーを対象とした旅行計画タスクにおいて、熟練者が定義した部分目標と同等の性能を達成した。

ABSTRACT

Developing agents to engage in complex goal-oriented dialogues is challenging partly because the main learning signals are very sparse in long conversations. In this paper, we propose a divide-and-conquer approach that discovers and exploits the hidden structure of the task to enable efficient policy learning. First, given successful example dialogues, we propose the Subgoal Discovery Network (SDN) to divide a complex goal-oriented task into a set of simpler subgoals in an unsupervised fashion. We then use these subgoals to learn a multi-level policy by hierarchical reinforcement learning. We demonstrate our method by building a dialogue agent for the composite task of travel planning. Experiments with simulated and real users show that our approach performs competitively against a state-of-the-art method that requires human-defined subgoals. Moreover, we show that the learned subgoals are often human comprehensible.

研究の動機と目的

• 長期間にわたる複雑なタスク指向対話における報酬の疎らさと非効率な探索の課題に対処すること。
• 対話方策学習における階層強化学習（HRL）において、人為的定義された部分目標の必要性を排除すること。
• 成功した対話軌道から解釈可能で構造的に意味のある部分目標を自動で発見すること。
• 非教師あり部分目標発見が、熟練者が提供する部分目標を用いたHRLと同等の方策性能を達成できることを示すこと。
• 現実世界の対話システムに適用可能なスケーラブルでデータ駆動型の部分目標発見を可能にすること。

提案手法

• SDNは、成功した対話軌道において頻繁に訪問されるが失敗した場合にまれな状態（「ハブ」状態）を特定する確率的シーケンス分割モデルを用いる。
• ハブ状態を部分目標として扱い、各部分目標間の対話軌道をセグメント化し、それぞれが明確な部分タスクに対応する。
• 発見された部分目標をオプションとして用いて階層強化学習（HRL）を適用し、上位方策が部分目標を選択し、下位方策が基本的行動を実行する。
• HRLフレームワークにおける探索と信用配分を支援するために、部分目標の境界に内部報酬を割り当てる。
• 人為的ラベルのない部分目標ラベルを必要とせず、成功した対話軌道のみを活用する。
• 部分目標発見は教師なしであり、報酬形状付けや報酬モデリングではなく、状態訪問頻度と軌道構造に基づく。

実験結果

リサーチクエスチョン

• RQ1 人為的監視なしに、成功した対話軌道から部分目標を自動で発見できるか？
• RQ2 自動で発見された部分目標が、複雑な対話タスクにおける効果的な階層的方策学習を可能にするか？
• RQ3 自動で発見された部分目標を用いた場合の性能は、人為的に定義された部分目標を用いた場合と比べてどうか？
• RQ4 発見された部分目標は人間にとって解釈可能で意味のあるものか？
• RQ5 本手法は実ユーザーとの対話や、旅行計画のような複合的タスクに一般化可能か？

主な発見

• SDNが発見した部分目標を用いて学習した対話エージェントは、模擬ユーザーおよび実ユーザー評価の両方において、熟練者が定義した部分目標を用いる最先端のエージェントと同等の性能を達成した。
• SDNが発見した部分目標を用いたエージェントは、部分目標を持たない非階層的ベースラインエージェントを著しく上回った。
• SDNが発見した部分目標は人間が理解可能であり、目的地の選定やフライトの手配といった、旅行計画プロセスにおける自然なマイルストーンに対応することが多かった。
• SDNは、わずかな劣化したが成功した対話軌道のみを用いても意味のある部分目標を効果的に特定でき、ノイズの多いデータに対しても頑健であることを示した。
• 本手法は、長時間にわたる対話タスクにおける報酬の疎らさを効果的に緩和し、探索の効率性を向上させた。
• 結果から、非教師あり部分目標発見がHRLベースの対話システムにおける熟練者が定義した部分目標の代替手段として実用的である可能性が示唆された。