[论文解读] Dialogue Learning With Human-In-The-Loop

Jiwei Li, Alexander Miller+3 more|arXiv (Cornell University)|Nov 29, 2016

Speech and dialogue systems被引用 46

一句话总结

本文提出了一种强化学习框架，用于对话智能体通过与人类教师的在线互动来提升性能，结合文本反馈和数值奖励。结果表明，端到端模型能够通过前向预测和基于奖励的模仿有效学习真实人类反馈，在使用 Mechanical Turk 收集的真实世界数据和模拟环境中，其性能优于固定策略基线模型。

ABSTRACT

An important aspect of developing conversational agents is to give a bot the ability to improve through communicating with humans and to learn from the mistakes that it makes. Most research has focused on learning from fixed training sets of labeled data rather than interacting with a dialogue partner in an online fashion. In this paper we explore this direction in a reinforcement learning setting where the bot improves its question-answering ability from feedback a teacher gives following its generated responses. We build a simulator that tests various aspects of such learning in a synthetic environment, and introduce models that work in this regime. Finally, real experiments with Mechanical Turk validate the approach.

研究动机与目标

• 使对话智能体能够通过与人类教师的实时互动来提升性能，而非仅依赖固定的训练数据集。
• 探究在对话系统中结合文本反馈与数值奖励实现在线、交互式学习的可行性。
• 解决在人类反馈设置中学习不稳定性、数据稀疏性和探索问题等挑战。
• 通过合成对话模拟器和通过 Amazon Mechanical Turk 收集的真实人类数据验证该方法。
• 证明端到端模型在使用人类反馈进行微调后，可超越固定策略基线模型的性能。

提出的方法

• 该框架使用对话模拟器在受控且可重复的环境中训练和评估智能体，之后再部署至真实人类互动场景。
• 提出两种学习范式：基于奖励的模仿（RBI），使用稀疏的数值奖励；前向预测（FP），利用教师提供的文本反馈。
• 通过混合模型结合 RBI 与 FP，以提升对稀疏奖励的鲁棒性并增强学习效率。
• 通过 ε-贪婪策略管理探索，ε ≥ 0.2，以确保训练期间策略更新的多样性。
• 应用数据平衡技术以在使用文本反馈时稳定学习，防止模型崩溃。
• 流程从在 1,000 个标注样本上训练的监督模型开始，随后使用来自 Mechanical Turk 的 10,000 个由人类提供的反馈样本进行微调。

实验结果

研究问题

• RQ1 对话智能体是否能在半在线、交互式环境中有效学习真实人类反馈？
• RQ2 结合文本反馈（前向预测）与数值奖励（RBI）如何提升学习稳定性和性能？
• RQ3 通过在线人类互动，能否对在固定数据集上训练的端到端模型实现有意义的改进？
• RQ4 探索与数据平衡在稀疏或非数值化反馈设置下的学习稳定性中起到何种作用？
• RQ5 在实际应用中，合成反馈、完全监督学习与真实人类反馈的性能表现如何比较？

主要发现

• 混合 RBI+FP 模型在无奖励测试集（r=0）上达到 43.1% 的准确率，优于仅使用 RBI（33.3%）和仅使用 FP（35.8%）的模型。
• 在 10% 的稀疏奖励（r=0.1）条件下，RBI+FP 模型准确率达到 43.8%，表明即使奖励稀疏，文本反馈仍能维持学习效果。
• 模型在第一次训练迭代时准确率为 74%，到第六次迭代时提升至 98%，证明了从随机初始化开始的在线策略优化有效。
• 使用真实人类反馈的性能与完全监督基线模型及合成反馈表现相当，验证了该方法在实际应用中的可行性。
• 前向预测（FP）在无数值奖励时依然有效，证明仅靠文本反馈即可引导有意义的策略学习。
• 通过数据平衡与充分探索（ε ≥ 0.2），该方法成功缓解了在线学习中的不稳定性，实现了在模拟环境与真实世界场景中的收敛。