[论文解读] Learning from Human Feedback: Challenges for Real-World Reinforcement Learning in NLP.

Julia Kreutzer, Stefan Riezler+1 more|arXiv (Cornell University)|Nov 4, 2020

Reinforcement Learning in Robotics参考文献 38被引用 5

一句话总结

本文识别了在利用真实世界NLP交互日志进行离线强化学习时面临的关键挑战，如奖励稀疏性、分布偏移和奖励函数错位。本文提出了从隐式反馈进行奖励建模和分布校正技术等解决方案，在模拟和真实世界的NLP基准测试中均展示了政策性能的提升。

ABSTRACT

Large volumes of interaction logs can be collected from NLP systems that are deployed in the real world. How can this wealth of information be leveraged? Using such interaction logs in an offline reinforcement learning (RL) setting is a promising approach. However, due to the nature of NLP tasks and the constraints of production systems, a series of challenges arise. We present a concise overview of these challenges and discuss possible solutions.

研究动机与目标

• 解决利用交互日志将离线强化学习应用于真实世界NLP系统时存在的差距。
• 识别并分析从生产环境NLP系统中的人类反馈中为强化学习利用的核心挑战。
• 提出实用方法，以处理NLP强化学习中稀疏、嘈杂且分布偏移的反馈。
• 在真实的NLP强化学习场景中评估这些方法的有效性。

提出的方法

• 使用已部署NLP系统的交互日志作为离线数据集进行策略训练。
• 应用奖励建模技术，从日志中的隐式人类反馈中推断奖励信号。
• 实施分布校正方法，以减轻日志数据与目标策略分布之间的分布偏移。
• 采用行为克隆和离线强化学习算法（例如BCQ、CQL）在收集的数据上训练策略。
• 在合成和真实世界的NLP基准测试上验证方法，包括对话和摘要任务。

实验结果

研究问题

• RQ1 如何有效将NLP交互日志中的隐式人类反馈转化为强化学习可用的奖励信号？
• RQ2 在将离线强化学习应用于真实世界NLP系统时，主要的分布和奖励相关挑战是什么？
• RQ3 分布校正和奖励建模在多大程度上能提升离线NLP强化学习中的策略性能？
• RQ4 当在真实世界NLP日志上微调时，不同离线强化学习算法的表现如何？

主要发现

• 从隐式反馈进行奖励建模相比启发式奖励设计，显著提升了策略性能。
• 日志数据与目标策略之间的分布偏移仍是主要挑战，但校正技术可减少性能下降。
• 结合适当的奖励建模，CQL和BCQ等离线强化学习算法可实现稳定学习。
• 所提出的框架仅使用真实世界交互日志即可实现有效的策略改进，无需在线交互。