[論文レビュー] Integrating planning for task-completion dialogue policy learning.

Baolin Peng, Xiujun Li+3 more|arXiv (Cornell University)|Jan 18, 2018

Speech and dialogue systems参考文献 43被引用数 33

ひとこと要約

本稿では、タスク遂行対話システムにおけるサンプル効率を向上させるために、ダイナ・キュー（Dyna-Q）アーキテクチャを用いた計画拡張型対話方策学習フレームワークを提案する。オンラインで計画されるシミュレータを通じて合成されたユーザ体験を生成することで、限られた実際のユーザ相互作用と高品質なシミュレートされた体験を組み合わせ、高価な実ユーザ実験の必要性を顕著に低減しつつ、シミュレーション内および人間を含むフィードバックループ評価においても優れたパフォーマンスを維持する。

ABSTRACT

Training a task-completion dialogue agent with real users via reinforcement learning (RL) could be prohibitively expensive, because it requires many interactions with users. One alternative is to resort to a user simulator, while the discrepancy of between simulated and real users makes the learned policy unreliable in practice. This paper addresses these challenges by integrating planning into the dialogue policy learning based on Dyna-Q framework, and provides a more sample-efficient approach to learn the dialogue polices. The proposed agent consists of a planner trained on-line with limited real user experience that can generate large amounts of simulated experience to supplement with limited real user experience, and a policy model trained on these hybrid experiences. The effectiveness of our approach is validated on a movie-booking task in both a simulation setting and a human-in-the-loop setting.

研究の動機と目的

• 強化学習を用いたタスク遂行対話エージェントの訓練における、実ユーザ相互作用の高コスト問題に対処すること。
• 実ユーザと従来のユーザシミュレータとの間の乖離が引き起こす信頼性のギャップを低減すること。
• オンライン計画による合成ユーザ体験の生成を通じて、対話方策学習のサンプル効率を向上させること。
• 限られた実ユーザデータとプランナーが生成するシミュレートされた体験を組み合わせたハイブリッドデータセットを用いて、効果的な方策学習を可能にすること。

提案手法

• 本フレームワークは、限られた実ユーザ相互作用から学習するプランナーを統合しており、リアルタイムに合成対話体験を生成する。
• プランナーはDyna-Qアルゴリズムを用い、事前に定義されたユーザモデルを必要とせずに、ユーザ行動をシミュレートし、訓練体験を拡張する。
• 対話方策は、実ユーザ相互作用とプランナーがシミュレートした体験を組み合わせたハイブリッドデータセット上で学習され、一般化性能の向上が図られる。
• プランナーは実ユーザのフィードバックを段階的に活用して更新され、シミュレートされた体験の品質が継続的に向上する。
• 本システムは階層的学習メカニズムを採用しており、計画が多様で妥当な対話トラジェクトリを提供することで、方策学習を強化する。
• 本アプローチは、シミュレートされた体験を活用することで、探索と活用のバランスを保つ。

実験結果

リサーチクエスチョン

• RQ1 対話方策学習に計画を統合することで、実ユーザ相互作用への依存度を低減できるか？
• RQ2 方策学習における、プランナーが生成する体験の品質は、従来のユーザシミュレータと比較してどの程度優れているか？
• RQ3 ハイブリッド訓練アプローチ（実データ＋シミュレートデータ）が、実世界の展開における方策パフォーマンスにどの程度向上をもたらすか？
• RQ4 オンライン計画は、方策学習のサンプル効率と収束速度にどのように影響するか？
• RQ5 本手法は、人間を含むフィードバックループ環境で評価された際にも、頑健性を維持できるか？

主な発見

• 提案手法は、方策パフォーマンスを維持または向上させつつ、必要な実ユーザ相互作用の回数を顕著に削減した。
• プランナーが生成するシミュレートされた体験は、従来のユーザシミュレータよりも効果的であり、実ユーザ評価における一般化性能の向上に寄与した。
• ハイブリッド訓練アプローチは、シミュレーション環境および人間を含むフィードバックループ設定の両方で優れたパフォーマンスを達成し、頑健性を示した。
• 計画なしのベースライン強化学習手法と比較して、本システムはより高速に収束し、サンプル効率が高かった。
• オンライン計画の統合により、シミュレートされた体験の多様性と現実性が向上し、方策の一般化性能が向上した。
• 最小限の実ユーザデータで映画予約タスクにおいても、競争力のあるパフォーマンスを達成し、サンプル効率の有効性が検証された。