[論文レビュー] Composite Task-Completion Dialogue Policy Learning via Hierarchical Deep Reinforcement Learning

Baolin Peng, Xiujun Li+5 more|arXiv (Cornell University)|Apr 10, 2017

Speech and dialogue systems参考文献 34被引用数 36

ひとこと要約

本論文は、フライト予約やホテル予約などの相互に依存する複数のサブタスクを管理するために、マルコフ決定過程（MDP）上のオプションを用いた階層的深層強化学習（HRL）フレームワークを提案する。高レベルのタスク選択と低レベルの行動実行を分離し、内部の評価者（インセンティブ報酬モジュール）を組み込むことで、報酬の疎らさや複雑な制約条件下でも、平坦な強化学習やルールベースのベースラインと比べて著しく高い成功確率と優れたユーザ体験を達成した。

ABSTRACT

Building a dialogue agent to fulfill complex tasks, such as travel planning, is challenging because the agent has to learn to collectively complete multiple subtasks. For example, the agent needs to reserve a hotel and book a flight so that there leaves enough time for commute between arrival and hotel check-in. This paper addresses this challenge by formulating the task in the mathematical framework of options over Markov Decision Processes (MDPs), and proposing a hierarchical deep reinforcement learning approach to learning a dialogue manager that operates at different temporal scales. The dialogue manager consists of: (1) a top-level dialogue policy that selects among subtasks or options, (2) a low-level dialogue policy that selects primitive actions to complete the subtask given by the top-level policy, and (3) a global state tracker that helps ensure all cross-subtask constraints be satisfied. Experiments on a travel planning task with simulated and real users show that our approach leads to significant improvements over three baselines, two based on handcrafted rules and the other based on flat deep reinforcement learning.

研究の動機と目的

• 複数の相互依存するサブタスクと相互制約を伴う複雑なタスクを遂行するための対話エージェントの訓練という課題に対処すること。
• 報酬の疎らさと長時間スケールの課題を克服するため、内生的報酬信号を備えた階層的構造を導入することで、平坦な強化学習における問題を緩和すること。
• 対話の一貫性を向上させ、サブタスク間の切り替えを減らし、タスク遂行対話におけるユーザ体験を向上させること。
• シミュレーテッドおよびリアルユーザに対して、平坦なRLやルールベースのベースラインを上回るスケーラブルでサンプル効率の高い対話ポリシー学習手法を開発すること。
• 多様なユーザ行動を示す現実世界の旅行計画シナリオにおいて、階層的深層強化学習の有効性を検証すること。

提案手法

• マルコフ決定過程（MDP）上のオプションフレームワークを用いて、時間スケールにわたる階層的意思決定を可能にする複合タスク遂行問題の定式化を行う。
• 二段階の対話マネージャーを設計する：上位レベルのポリシーがサブタスク（オプション）を選択し、下位レベルのポリシーが各サブタスクを完了するための原始的行動を実行する。
• グローバル状態トラッカーの出力をもとにサブタスクの進行状況を評価する内部評価者（インセンティブ報酬モジュール）を導入し、密集した早期フィードバックを提供することで報酬の疎らさを緩和する。
• グローバル状態トラッカーを用いて、到着時刻がチェックインより前であるなど、サブタスク間のスロット制約を維持・強制し、サブタスク間の一貫性を確保する。
• 深層強化学習を用いて階層的ポリシーを訓練し、上位レベルのポリシーがサブタスクの順序を探索し、下位レベルのポリシーが行動の順序を最適化する。
• 両方のポリシー層のDQNベースの訓練において、経験再生とターゲットネットワークを用いて、訓練の安定性とサンプル効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 平坦なRLと比較して、階層的深層強化学習アプローチは、複合タスク遂行対話におけるサンプル効率と成功確率を向上させることができるか？
• RQ2 内部評価者からのインセンティブ報酬の導入は、報酬が疎らな対話環境における探索と収束にどのように影響するか？
• RQ3 階層的ポリシー学習は、平坦なRLエージェントと比較して、サブタスク間の切り替えをどの程度低減させ、対話の一貫性を向上させることができるか？
• RQ4 異なるユーザタイプ（サブタスクの順序に異なる好みを示すユーザ）に対して、提案手法はどの程度一般化可能か？
• RQ5 リアルユーザに対して、階層的エージェントはシミュレーションベンチマークやルールベースのベースラインを上回る優れたパフォーマンスを発揮できるか？

主な発見

• 階層的RL（HRL）エージェントは、特にサブタスクの再編が必要な複雑なユーザタイプ（BおよびC）に対して、シミュレーテッドユーザにおいて平坦なRLエージェントやルールベースのベースラインと比べて著しく高い成功確率を達成した。
• すべてのユーザタイプにおいてHRLエージェントは平坦なRLエージェントを上回る成功確率を示し、特にタスクの複雑さが高く、対話回数も多かったタイプCユーザでは20%の顕著な改善を示した。
• HRLエージェントは収束が早く、シミュレーション例の数を少なくても平坦なRLエージェントと同等のパフォーマンスに到達したため、優れたサンプル効率を示した。
• 人間による評価では、HRLエージェントはリアルユーザに対して平均4.3（平坦なRLエージェントは3.1）という著しく高いユーザ評価を得るとともに、成功確率も82%（平坦なRLエージェントは58%）を記録した。
• HRLエージェントはより一貫性のある対話を生成し、平坦なRLエージェントよりもサブタスク間の切り替えを著しく減らしたため、ユーザ体験が向上し、タスク失敗のリスクも低減した。
• インセンティブ報酬モジュールは探索を効果的に導出し、失敗する軌道の数を減らし、複雑な制約満たしポリシーをより効率的に学習可能にした。