[論文レビュー] Model-based Bayesian Reinforcement Learning for Dialogue Management

Pierre Lison|arXiv (Cornell University)|Apr 5, 2013

Speech and dialogue systems参考文献 31被引用数 4

ひとこと要約

この論文は、遷移モデルのパラメータに関する事後分布を維持することで不確実性を扱う、モデルベースのベイジアン強化学習アプローチを提案する。非構造的な多項分布の代わりに確率的ルールを用いることで、人間-ロボット対話シナリオにおいて収束が速く、一般化性能が向上することが、Wizard-of-Ozデータを用いた実験で示された。

ABSTRACT

Reinforcement learning methods are increasingly used to optimise dialogue policies from experience. Most current techniques are model-free: they directly estimate the utility of various actions, without explicit model of the interaction dynamics. In this paper, we investigate an alternative strategy grounded in model-based Bayesian reinforcement learning. Bayesian inference is used to maintain a posterior distribution over the model parameters, reflecting the model uncertainty. This parameter distribution is gradually refined as more data is collected and simultaneously used to plan the agent's actions. Within this learning framework, we carried out experiments with two alternative formalisations of the transition model, one encoded with standard multinomial distributions, and one structured with probabilistic rules. We demonstrate the potential of our approach with empirical results on a user simulator constructed from Wizard-of-Oz data in a human-robot interaction scenario. The results illustrate in particular the benefits of capturing prior domain knowledge with high-level rules.

研究の動機と目的

• 遷移ダイナミクスの不確実性を明示的にモデル化する、対話ポリシー学習を目的としたモデルベースのベイジアン強化学習フレームワークの開発。
• 構造的な確率的ルールが、非構造的な多項分布よりも遷移モデルの学習で優れているかどうかの検証。
• Wizard-of-Ozデータを用いて訓練されたユーザーサイミュレータを用いて、現実世界の人間-ロボット対話シナリオでの手法の評価。
• 高レベルのルールによるドメイン知識の組み込みが、学習効率とパフォーマンスを向上させることの実証。

提案手法

• アプローチは、ディリクレ事前分布から出発して、モデルパラメータの事後分布を維持するベイジアン推論を用いる。
• 観測された状態-行動-観測の三つ組みから、逐次的に遷移モデルを更新する。
• 現在の信念状態とモデルパラメータの事後分布に基づいて、近似的なオンライン計画アルゴリズムが行動を選択する。
• 2つの定式化を比較する：1つは標準的な多項分布を用い、もう1つは構造的な確率的ルールを用いる。
• 信念状態はベイジアンネットワークとして表現され、観測尤度を用いてPOMDP信念更新式に従って更新される。
• システムは、トレーニング用の対話生成とパフォーマンス評価のため、Wizard-of-Ozデータに基づくユーザーサイミュレータを用いる。

実験結果

リサーチクエスチョン

• RQ1 限られた対話データでの対話管理における、モデルベースのベイジアン強化学習が、遷移モデルを効果的に学習できるか。
• RQ2 構造的な確率的ルールを用いることで、非構造的な多項分布よりも遷移ダイナミクスの学習が高速に収束するか。
• RQ3 パrameterの事後分布として表現されるモデルの不確実性が、部分的に観測可能な環境における探索とポリシー学習をどのように改善するか。
• RQ4 確率的ルールにエンコードされた事前のドメイン知識が、学習パフォーマンスと一般化性能をどの程度向上させるか。
• RQ5 事前学習モデルや広範なシミュレーションに依存せずに、このアプローチが高パフォーマンスを達成できるか、リアルタイムのオンライン学習が可能か。

主な発見

• 確率的ルールモデルは、多項分布モデルよりも最適なディリクレパラメータにはるかに速く収束しており、学習効率の優位性が示された。
• 確率的ルールを用いたシステムは、多項分布モデルよりもエピソードあたりの平均リターンが高く、ポリシー性能の優位性が確認された。
• 確率的ルールモデルでは、推定されたユーザーアクション分布と実際の分布とのK-Lダイバージェンスが、多項分布モデルよりも速やかに減少した。これは、モデルの精度が優れていることを示している。
• モデルベースのアプローチは、信念状態推定と行動選択の向上によって、対話ダイナミクスの本質を的確に捉えていた。
• ルールベースのパラメータの迅速な収束は、ライブ対話からのオンライン学習の可能性を示しており、リアルタイムデプロイメントへの適用可能性が示唆された。