[论文解读] End-to-End Offline Goal-Oriented Dialog Policy Learning via Policy Gradient

Li Zhou, Kevin Small+2 more|arXiv (Cornell University)|Dec 7, 2017

Topic Modeling参考文献 15被引用 31

一句话总结

该论文提出了一种基于策略梯度的端到端离线强化学习方法，用于目标导向对话策略学习，利用未经标注的客户-代理对话转录本（TACTs）实现，无需人工交互。通过结合在线与离线策略梯度方法，并设计一种新型奖励函数以同时优化话语级与对话级目标，该方法在bAbI Task 6上实现了最先进性能，相较于先前方法，BLEU得分提升1.55%，API调用精确匹配率提升14.37%。

ABSTRACT

Learning a goal-oriented dialog policy is generally performed offline with supervised learning algorithms or online with reinforcement learning (RL). Additionally, as companies accumulate massive quantities of dialog transcripts between customers and trained human agents, encoder-decoder methods have gained popularity as agent utterances can be directly treated as supervision without the need for utterance-level annotations. However, one potential drawback of such approaches is that they myopically generate the next agent utterance without regard for dialog-level considerations. To resolve this concern, this paper describes an offline RL method for learning from unannotated corpora that can optimize a goal-oriented policy at both the utterance and dialog level. We introduce a novel reward function and use both on-policy and off-policy policy gradient to learn a policy offline without requiring online user interaction or an explicit state space definition.

研究动机与目标

• 为解决监督序列到序列模型仅优化下一个话语似然性而忽略对话级目标的局限性。
• 实现在未经标注的客户-代理对话转录本（TACTs）上端到端、离线的策略学习，无需在线用户交互或预定义的动作/状态空间。
• 通过结合在线与离线策略梯度方法，提升样本效率与策略优化性能。
• 设计一种联合优化话语级流畅性与对话级目标达成（特别是API调用准确率）的奖励函数。
• 通过使用编码器-解码器架构实现跨领域泛化，无需依赖领域特定的槽位或对话行为标注。

提出的方法

• 该方法将对话响应生成建模为马尔可夫决策过程（MDP），其中每个回合对应一次代理话语，从而实现具有已知转移与奖励的离线学习。
• 提出一种新型奖励函数，结合话语级与对话级信号，包括预测响应的准确率、BLEU得分，以及API调用预测的精确率、召回率与F1值。
• 策略通过编码器-解码器架构的序列到序列神经网络参数化，实现无需人工槽位或对话行为标注的端到端训练。
• 采用在线策略梯度以确保学习稳定性，同时引入离线策略梯度以加速收敛并提升样本效率。
• 使用固定系数的重要性采样对轨迹进行加权，最终策略采用Adam优化器进行训练，学习率为1e-3。
• 模型在未经任何标注的原始bAbI Task 6数据上进行训练，仅以真实代理响应作为监督信号。

实验结果

研究问题

• RQ1 能否通过端到端、离线的强化学习方法，从未经标注的语料中有效学习目标导向对话策略，而无需人工交互？
• RQ2 如何设计一种奖励函数，以联合优化话语级流畅性与对话级目标达成？
• RQ3 在离线对话策略学习中，离线策略梯度能否提升在线策略训练的样本效率？
• RQ4 所提方法在响应生成与API调用预测方面，相较于监督序列到序列模型，性能提升程度如何？
• RQ5 该模型能否在无需领域特定标注（如槽位或对话行为）的情况下实现跨领域泛化？

主要发现

• 所提方法在bAbI Task 6上实现了48.69%的单句响应准确率，优于基线注意力Seq2Seq模型（47.29%）与Eric和Manning的模型（48.00%）。
• 模型BLEU得分提升至58.25，较基线Seq2Seq模型提高1.55%，较Eric和Manning的模型提升4.02%。
• API调用预测的F1值提升至76.95，较基线模型提高1.93%，表明与对话目标的对齐性更优。
• API调用精确匹配准确率达到49.16%，较基线Seq2Seq模型提升14.37%，表明参数预测与目标遵循能力更强。
• 该方法成功从原始、未经标注的TACT数据中进行学习，无需用户模拟、人工交互或预定义的动作/状态空间。