[论文解读] Fantastic Rewards and How to Tame Them: A Case Study on Reward Learning for Task-oriented Dialogue Systems

Yihao Feng, Shentao Yang+5 more|arXiv (Cornell University)|Feb 20, 2023

Topic Modeling被引用 6

一句话总结

本文提出RewardNet与RewardMLE两种基于学习排序的损失函数，用于在端到端任务导向对话系统中训练奖励函数。通过从对话轨迹中学习基于偏好的奖励信号，该方法实现了更高效的离线强化学习，在MultiWOZ 2.0基准上取得了107.11的综合得分，达到当前最先进水平。

ABSTRACT

When learning task-oriented dialogue (ToD) agents, reinforcement learning (RL) techniques can naturally be utilized to train dialogue strategies to achieve user-specific goals. Prior works mainly focus on adopting advanced RL techniques to train the ToD agents, while the design of the reward function is not well studied. This paper aims at answering the question of how to efficiently learn and leverage a reward function for training end-to-end (E2E) ToD agents. Specifically, we introduce two generalized objectives for reward-function learning, inspired by the classical learning-to-rank literature. Further, we utilize the learned reward function to guide the training of the E2E ToD agent. With the proposed techniques, we achieve competitive results on the E2E response-generation task on the Multiwoz 2.0 dataset. Source code and checkpoints are publicly released at https://github.com/Shentao-YANG/Fantastic_Reward_ICLR2023.

研究动机与目标

• 解决端到端任务导向对话（ToD）系统在离线强化学习中稀疏奖励信号的挑战。
• 设计一种更具信息量的奖励函数，捕捉对话轨迹之间的偏好排序，从而改善策略优化。
• 利用学习到的奖励信号实现预训练语言模型的有效微调，以生成更优的对话。
• 通过学习相对偏好，实现对示范人类行为的泛化与性能超越。
• 为复杂对话环境中的奖励函数学习提供稳定且可扩展的框架。

提出的方法

• 提出RewardNet，一种对比学习目标，基于偏好信号将高质量（正样本）对话轨迹排在低质量（负样本）轨迹之前。
• 引入RewardMLE，一种基于最大似然估计的方法，利用学习到的奖励函数建模偏好轨迹的概率。
• 采用基于BART的架构来参数化奖励函数，从而实现从奖励模型到响应生成策略的梯度传播。
• 在MultiWOZ 2.0数据集的固定长度对话轨迹上训练奖励模型，通过比较相似复杂度的轨迹以确保有意义的偏好学习。
• 应用学习到的奖励函数，通过Gumbel-Softmax采样引导离线强化学习，用于训练端到端ToD智能体。
• 采用课程学习与梯度裁剪策略，以在学习到的奖励信号下稳定响应生成模型的训练。

Figure 1: Overview of the proposed method. We denote “Accumulated Reward” for the learned accumulated reward, $J(\cdot;\theta)$ for the accumulated reward of each trajectory, $S(\cdot)$ for the combined score of each trajectory, $\ell_{\mathrm{W}}$ for the weighted regularization, $\ell_{\mathrm{DST

实验结果

研究问题

• RQ1 基于学习排序的目标是否能提升离线强化学习中任务导向对话系统奖励函数的质量？
• RQ2 与稀疏的二值化目标奖励相比，基于偏好的奖励函数在下游对话策略性能上表现如何？
• RQ3 学习到的奖励函数是否能使端到端ToD智能体在标准基准上超越人类示范性能？
• RQ4 哪些超参数配置（如轨迹长度、奖励函数形式）能在离线ToD学习中实现最稳定和高效的训练？
• RQ5 所提出的奖励学习方法在不同随机种子和模型架构下是否具有鲁棒性？

主要发现

• 所提出的RewardMLE方法在MultiWOZ 2.1基准上取得107.11的综合得分，优于先前方法（CASPI为105.40，UBAR为105.25）。
• 采用Gumbel-Softmax采样的RewardNet取得106.62的综合得分，显著优于强基线方法（如SimpleTOD的92.98）。
• 在五个随机种子下的中位性能显示，RewardMLE在所有指标上均持续优于CASPI，其中位综合得分为107.74，而CASPI为105.04。
• 消融实验表明，基于偏好的奖励学习方法相比稀疏奖励信号，能实现更稳定的训练和更好的泛化能力。
• 采用BART-large-cnn作为响应生成器主干网络，并结合学习到的奖励函数，可实现对未见对话场景的强大零样本泛化能力。
• 该方法在E2E响应生成任务上取得最先进结果，最佳配置下成功率达83.90%，BLEU得分为18.73。

(a) RewardNet