[论文解读] CHAI: A CHatbot AI for Task-Oriented Dialogue with Offline Reinforcement Learning

Siddharth Verma, Justin Fu+2 more|arXiv (Cornell University)|Apr 18, 2022

Speech and dialogue systems被引用 4

一句话总结

CHAI 提出了一种面向任务的对话智能体，通过结合微调的语言模型与离线强化学习，生成目标导向、流畅且高效的对话，而无需在线交互。通过在静态人类对话数据集上进行训练，CHAI 在谈判成功率和定价结果方面优于先前方法，证明了离线强化学习使语言模型能够在保持自然语言质量的同时追求任务目标。

ABSTRACT

Conventionally, generation of natural language for dialogue agents may be viewed as a statistical learning problem: determine the patterns in human-provided data and generate appropriate responses with similar statistical properties. However, dialogue can also be regarded as a goal directed process, where speakers attempt to accomplish a specific task. Reinforcement learning (RL) algorithms are designed specifically for solving such goal-directed problems, but the most direct way to apply RL -- through trial-and-error learning in human conversations, -- is costly. In this paper, we study how offline reinforcement learning can instead be used to train dialogue agents entirely using static datasets collected from human speakers. Our experiments show that recently developed offline RL methods can be combined with language models to yield realistic dialogue agents that better accomplish task goals.

研究动机与目标

• 开发一种对话智能体，能够有效追求任务目标，同时生成流畅自然的语言回复。
• 解决监督学习在对话系统中的局限性，后者常产生通用或忽略目标的回复。
• 通过利用离线数据集，在无需昂贵在线交互的情况下实现对话系统的强化学习。
• 缓解对话领域离线强化学习中常见的策略利用和分布偏移问题。
• 结合预训练语言模型的流畅性与离线强化学习的目标导向优化能力。

提出的方法

• CHAI 使用在对话数据集上微调的预训练语言模型（GPT-2）生成自然语言回复。
• 它应用离线强化学习，利用静态的人与人之间的对话数据优化对话策略，避免在线交互。
• 该方法采用基于值函数的强化学习算法，选择能最大化特定任务奖励（如成功谈判或有利定价）的回复。
• 设计了奖励函数以反映任务结果，如报价被接受与否和收益，引导策略向目标导向行为发展。
• 系统使用价格预测头将回复与现实的谈判动态对齐，提升策略一致性。
• 训练完全基于离线数据进行，无需模拟人类模型或在线滚动更新。

实验结果

研究问题

• RQ1 能否有效结合离线强化学习与预训练语言模型，训练出既流畅又目标导向的对话智能体？
• RQ2 与语言模型的监督微调相比，使用离线强化学习训练是否能提升谈判任务中的任务表现？
• RQ3 CHAI 是否能生成比检索基线或仅语言模型基线更连贯且更具策略性的回复？
• RQ4 在谈判成功率和定价准确性方面，CHAI 的表现如何与基线模型比较？
• RQ5 离线强化学习在多大程度上缓解了对话系统中常见的策略利用和分布偏移问题？

主要发现

• 与检索基线和语言模型基线相比，CHAI 在谈判成功率上实现了统计上显著的提升（p < 0.01）。
• 在除流畅性外的所有指标上，CHAI 均优于基线模型，而流畅性方面与语言模型基线持平，证实了语言模型组件有效保持了流畅性。
• CHAI 展现出更优的战略推理能力，例如提出合理的还价（如“我不能低到那个价格”）并仅在有利时接受报价。
• 在人类评估中，CHAI 被评为比语言模型基线更连贯、更具任务导向性且更像人类，后者常出现不合逻辑或离题的回应。
• CHAI 成功达成了更优的定价并获得了更高收益，表明其有效优化了任务奖励。
• 该系统避免了检索模型常见的不合逻辑回应，例如对关于水电费或时间的问题给出无关回答。