[论文解读] Reward Reports for Reinforcement Learning

Thomas Krendl Gilbert, Nathan Lambert+3 more|arXiv (Cornell University)|Apr 22, 2022

Data Stream Mining Techniques被引用 5

一句话总结

本文提出了奖励报告（Reward Reports），一种用于强化学习系统的动态文档框架，用于追踪随时间推移而演变的设计决策、反馈机制和社会影响。通过将强化学习原则应用于系统透明度，该框架使部署后持续迭代的AI系统（如Meta的BlenderBot 3）能够实现持续问责与伦理监督。

ABSTRACT

Building systems that are good for society in the face of complex societal effects requires a dynamic approach. Recent approaches to machine learning (ML) documentation have demonstrated the promise of discursive frameworks for deliberation about these complexities. However, these developments have been grounded in a static ML paradigm, leaving the role of feedback and post-deployment performance unexamined. Meanwhile, recent work in reinforcement learning has shown that the effects of feedback and optimization objectives on system behavior can be wide-ranging and unpredictable. In this paper we sketch a framework for documenting deployed and iteratively updated learning systems, which we call Reward Reports. Taking inspiration from various contributions to the technical literature on reinforcement learning, we outline Reward Reports as living documents that track updates to design choices and assumptions behind what a particular automated system is optimizing for. They are intended to track dynamic phenomena arising from system deployment, rather than merely static properties of models or data. After presenting the elements of a Reward Report, we discuss a concrete example: Meta's BlenderBot 3 chatbot. Several others for game-playing (DeepMind's MuZero), content recommendation (MovieLens), and traffic control (Project Flow) are included in the appendix.

研究动机与目标

• 解决静态AI文档（如模型卡片）在捕捉已部署强化学习系统动态、反馈驱动行为方面的局限性。
• 回应现实世界AI系统日益复杂的特性，这些系统通过持续更新和利益相关者反馈不断演化。
• 提供一种持续演化的文档机制，以记录随时间推移而变化的优化目标、反馈类型及利益相关者假设。
• 通过系统化追踪系统行为在部署后如何以及为何发生变化，支持内部系统分析与外部监督。
• 支持对社会影响的反思性、迭代式审议，特别是在具有长期用户交互和反馈回路的系统中。

提出的方法

• 提出奖励报告作为随已部署强化学习系统同步演化的活文档，追踪奖励函数、反馈来源和设计假设的变化。
• 将强化学习作为概念框架，将系统行为、优化目标和反馈动态视为文档的核心。
• 将多种反馈类型——历史数据、用户反馈和实时部署信号——整合到统一的报告结构中。
• 以关键组件为中心组织奖励报告：性能指标、再训练频率、故障阈值以及利益相关者在系统治理中的角色。
• 将该框架应用于BlenderBot 3、MuZero、MovieLens和Project Flow等真实系统，以证明其实际适用性。
• 强调对反馈交互进行定性、情境敏感的评估，而非静态的模型或数据报告。

实验结果

研究问题

• RQ1 如何使文档能够跟上已部署强化学习系统在动态、反馈驱动下的演化步伐？
• RQ2 为确保长期问责与伦理监督，系统设计与反馈的哪些具体组成部分必须被记录？
• RQ3 不同类型的反馈（如用户反馈、历史数据、实时信号）如何随时间相互作用并影响系统行为？
• RQ4 现有文档实践（如模型卡片）在多大程度上无法捕捉已部署强化学习系统在社会与操作层面的复杂性？
• RQ5 标准化的、持续演化的文档框架是否能同时提升内部系统理解与外部监管或监控工作？

主要发现

• 奖励报告提供了一种持续演化的文档框架，能够捕捉奖励函数、反馈机制和利益相关者假设随时间推移的动态变化。
• 该框架揭示了静态文档（如模型卡片）在具有持续更新和反馈回路的系统中（尤其是BlenderBot 3等对话代理）的不足。
• 对于BlenderBot 3，奖励报告揭示了关于再训练频率、性能指标（如对话长度、情感比率）以及触发系统停机的故障阈值的关键问题。
• 利益相关者角色（如设计师、用户和监管机构）被证明至关重要，因为它们塑造了系统行为与问责路径。
• 该框架使我们能够更深入洞察非预期的反馈交互，例如用户情感或聊天历史可能如何在超出即时输出的范围内影响下游系统行为。
• 奖励报告在以数据驱动、基于优化的系统中最为有效，其中行动具有自动且可度量的后果，如推荐系统、游戏对战系统和交通控制系统。