[论文解读] Model-based Bayesian Reinforcement Learning for Dialogue Management

Pierre Lison|arXiv (Cornell University)|Apr 5, 2013

Speech and dialogue systems参考文献 31被引用 4

一句话总结

本文提出了一种基于模型的贝叶斯强化学习方法用于对话管理，通过维护转移模型参数的后验分布来处理不确定性。通过使用概率规则而非非结构化的多项式分布，该方法在人类-机器人交互场景中实现了更快的收敛速度和更好的泛化能力，实验基于Wizard-of-Oz数据集验证了这一点。

ABSTRACT

Reinforcement learning methods are increasingly used to optimise dialogue policies from experience. Most current techniques are model-free: they directly estimate the utility of various actions, without explicit model of the interaction dynamics. In this paper, we investigate an alternative strategy grounded in model-based Bayesian reinforcement learning. Bayesian inference is used to maintain a posterior distribution over the model parameters, reflecting the model uncertainty. This parameter distribution is gradually refined as more data is collected and simultaneously used to plan the agent's actions. Within this learning framework, we carried out experiments with two alternative formalisations of the transition model, one encoded with standard multinomial distributions, and one structured with probabilistic rules. We demonstrate the potential of our approach with empirical results on a user simulator constructed from Wizard-of-Oz data in a human-robot interaction scenario. The results illustrate in particular the benefits of capturing prior domain knowledge with high-level rules.

研究动机与目标

• 开发一种基于模型的贝叶斯强化学习框架，用于对话策略学习，显式建模转移动态中的不确定性。
• 探究在学习转移模型时，结构化概率规则是否优于非结构化的多项式分布。
• 在基于Wizard-of-Oz数据训练的用户模拟器支持下，于真实世界的人机交互场景中评估该方法。
• 证明通过高层次规则编码的领域知识可提升学习效率和性能。

提出的方法

• 该方法使用贝叶斯推断，对模型参数维持后验分布，初始采用狄利克雷先验。
• 通过交互中观察到的状态-动作-观测三元组，增量式更新转移模型。
• 采用近似在线规划算法，基于当前信念状态和模型参数的后验分布选择动作。
• 对比两种形式化方法：一种使用标准多项式分布，另一种使用结构化概率规则。
• 信念状态以贝叶斯网络表示，并使用POMDP信念更新方程结合观测似然进行更新。
• 系统使用基于Wizard-of-Oz数据的用户模拟器生成训练交互并评估性能。

实验结果

研究问题

• RQ1 基于模型的贝叶斯强化学习能否在交互数据有限的情况下，有效学习对话管理中的转移模型？
• RQ2 在学习转移动态时，使用结构化概率规则是否能比非结构化的多项式分布实现更快的收敛速度？
• RQ3 通过参数后验分布表示的模型不确定性，如何在部分可观察环境中提升探索效率和策略学习？
• RQ4 通过概率规则编码的先验领域知识，在多大程度上能增强学习性能和泛化能力？
• RQ5 该方法是否能在不依赖预训练模型或大量模拟的前提下实现高性能，从而支持实时在线学习？

主要发现

• 概率规则模型比多项式模型更快地收敛到最优狄利克雷参数，表明其学习效率更高。
• 采用概率规则的系统在每轮平均回报上显著高于多项式模型，证明其策略性能更优。
• 概率规则模型中，估计的用户行为动作分布与实际分布之间的K-L散度下降速度更快，表明模型准确性更高。
• 基于模型的方法成功捕捉了底层交互动态，体现在信念状态估计和动作选择的性能提升。
• 该方法展现出在线学习的潜力，规则参数的快速收敛表明其适用于实时部署。