[論文レビュー] Personalizing a Dialogue System with Transfer Reinforcement Learning

Kaixiang Mo, Shuangyin Li+3 more|arXiv (Cornell University)|Oct 10, 2016

Speech and dialogue systems参考文献 20被引用数 23

ひとこと要約

本稿では、POMDPに基づく転移強化学習フレームワークであるPETALを提案する。PETALは、複数ユーザーのソースドメインから共有される対話知識を学習し、個人のターゲットユーザーに適応させるために、個人化されたQ関数を用いることで、タスク指向対話システムを個人化する。本手法は、ユーザー固有の好みをモデル化することで負の転移を効果的に回避し、実世界およびシミュレートされたコーヒー注文データセットにおいて、優れた対話品質と高速な収束を達成する。

ABSTRACT

It is difficult to train a personalized task-oriented dialogue system because the data collected from each individual is often insufficient. Personalized dialogue systems trained on a small dataset can overfit and make it difficult to adapt to different user needs. One way to solve this problem is to consider a collection of multiple users' data as a source domain and an individual user's data as a target domain, and to perform a transfer learning from the source to the target domain. By following this idea, we propose "PETAL"(PErsonalized Task-oriented diALogue), a transfer-learning framework based on POMDP to learn a personalized dialogue system. The system first learns common dialogue knowledge from the source domain and then adapts this knowledge to the target user. This framework can avoid the negative transfer problem by considering differences between source and target users. The policy in the personalized POMDP can learn to choose different actions appropriately for different users. Experimental results on a real-world coffee-shopping data and simulation data show that our personalized dialogue system can choose different optimal actions for different users, and thus effectively improve the dialogue quality under the personalized setting.

研究の動機と目的

• 限られたユーザー固有データでの個人化されたタスク指向対話システムの訓練の課題に対処すること。
• 多様なソースドメインから異なる好みを持つターゲットユーザーに対話知識を転移する際の負の転移を軽減すること。
• 一般対話知識を個々のユーザー行動に適応させる個人化された方策学習フレームワークの開発すること。
• ユーザー固有のポリシー適応を通じて対話品質を向上させるとともに、対話長を短縮すること。

提案手法

• PETALシステムは、一般と個人の報酬信号を組み合わせた個人化されたQ関数を用いて、POMDPベースのフレームワークで対話方策学習をモデル化する。
• 複数ユーザーの共有された好みと行動を持つソースドメインから共通の対話知識を学習する。
• 個人化されたQ関数は、ソースユーザーとターゲットユーザーの違いを明示的にモデル化することで、負の転移を防止する。
• 実世界およびシミュレートされた対話データ上で訓練を行い、タスク完了と効率的な対話フローを促進する報酬関数を用いる。
• 現在の対話状態とユーザー固有のポリシーに基づいて、候補セットから応答を動的に選択する。
• 手動で定義された状態空間を必要としないため、生対話データからエンドツーエンド学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 多様なユーザーからなるソースドメインからの転移学習が、個々のターゲットユーザー向けの個人化された対話方策学習を改善できるか？
• RQ2 共有知識を個々のユーザー好みに効果的に適応させる際、負の転移を回避するにはどうすればよいか？
• RQ3 個人化された将来の期待報酬をモデル化することで、対話方策パフォーマンスはどの程度向上するか？
• RQ4 個人化されたQ関数を備えたPOMDPベースのフレームワークは、非個人化手法およびベースライン転移手法に比べ、対話品質と効率性で優れているか？

主な発見

• PETALは、実世界およびシミュレーションデータセットの両方で最高の平均報酬を達成し、優れた方策最適化を示した。
• システムはタスク完了率が最も高く、多様なユーザー種別においても信頼性の向上を示した。
• PETALはベースラインと比較して対話長を顕著に短縮し、より速く効率的な会話が実現した。
• PETALが提供する個人化された対話方策により、繰り返し注文の認識や例外処理といった、個々のユーザー好みに応じた応答適応が可能になった。
• シミュレーションでは、すべてのユーザーを均一に扱う「All」ベースラインモデルと比較して、PETALはユーザーの習慣に合わせた質問を適応させることで優れた性能を発揮した。
• ターゲットユーザーがソースドメインとは異なる好みを持つ場合でも、Q関数でユーザー固有の差をモデル化することで、負の転移を効果的に回避した。