[论文解读] Collect & Infer -- a fresh look at data-efficient Reinforcement Learning

Martin Riedmiller, Jost Tobias Springenberg+2 more|arXiv (Cornell University)|Aug 23, 2021

Reinforcement Learning in Robotics参考文献 3被引用 4

一句话总结

本文提出了“收集与推理”（Collect & Infer, C&I）范式，这是一种将强化学习解耦为两个独立过程的概念框架：数据收集（行为）与知识推理（从存储的经验中学习）。通过将这两个过程解耦并独立优化——尤其是采用离线、批量推理和有针对性的数据收集——该范式显著提升了数据效率，尤其在机器人等样本稀缺的领域表现突出。

ABSTRACT

This position paper proposes a fresh look at Reinforcement Learning (RL) from the perspective of data-efficiency. Data-efficient RL has gone through three major stages: pure on-line RL where every data-point is considered only once, RL with a replay buffer where additional learning is done on a portion of the experience, and finally transition memory based RL, where, conceptually, all transitions are stored and re-used in every update step. While inferring knowledge from all explicitly stored experience has lead to a tremendous gain in data-efficiency, the question of how this data is collected has been vastly understudied. We argue that data-efficiency can only be achieved through careful consideration of both aspects. We propose to make this insight explicit via a paradigm that we call 'Collect and Infer', which explicitly models RL as two separate but interconnected processes, concerned with data collection and knowledge inference respectively. We discuss implications of the paradigm, how its ideas are reflected in the literature, and how it can guide future research into data efficient RL.

研究动机与目标

• 解决强化学习研究中长期存在的不平衡问题：知识推理受到广泛关注，而数据收集则长期被忽视。
• 克服传统在线策略和经验回放缓冲区强化学习的局限，通过将数据收集显式建模为一类独立的优化问题。
• 通过将学习过程与在线交互解耦，实现从固定且可能多样化的数据集更有效、更高效的学习。
• 为设计下一代强化学习智能体提供概念基础，使其能够从随时间积累的大型、多样化且可能非独立同分布的数据集中学习。
• 引导未来研究将探索与数据收集策略的优化，独立于最终策略优化目标进行。

提出的方法

• 提出双过程框架：(1) 通过智能体与环境交互并将其过渡存入记忆来实现数据收集；(2) 使用完整存储的数据集进行离线推理。
• 将推理过程形式化为批量学习目标，即智能体从固定数据集 Dc 中学习策略或价值函数，使用标准强化学习或模仿学习目标。
• 将推理目标 LI 定义为数据集 Dc 和模型参数的函数，例如在 Q-learning 中最小化贝尔曼误差，或在演员-critic 方法中最大化期望回报。
• 通过与目标策略 πθ 不同的独立策略 πc 优化数据收集，以最大化最终策略在推理后性能。
• 使用行为克隆、离策略 Q-learning 和演员-critic 方法作为 C&I 框架的实例，展示它们如何通过解耦收集与推理的视角被重新诠释。
• 提出新型算法设计，如周期性地使用全部收集数据对模型进行完整重估计，或采用元学习探索策略，使其能根据智能体当前的知识状态自适应调整。

实验结果

研究问题

• RQ1 如何在不依赖策略学习的情况下独立优化数据收集，以在强化学习中实现最大数据效率？
• RQ2 在样本稀缺环境中，使用固定数据集进行离线批量推理相较于在线增量学习，性能提升如何？
• RQ3 是否可以通过设计良好的推理过程，使同一数据集同时用于训练多个策略或目标？
• RQ4 不同数据收集策略——尤其是偏离当前最优策略的策略——如何影响下游推理的质量？
• RQ5 在 C&I 范式下，元学习或上下文感知的探索策略在提升数据收集效率方面发挥何种作用？

主要发现

• C&I 范式实现了数据收集与知识推理之间的清晰概念分离，使两个过程均可独立优化。
• 当与有针对性的数据收集结合时，对固定数据集进行离线推理——如离策略 Q-learning 或演员-critic 方法——可实现高数据效率。
• 使用教师策略作为数据收集策略的行为克隆，在模仿学习中可实现最优性能，表明数据收集本身可等价于解决强化学习问题。
• 该范式支持使用多样化、非独立同分布的数据集，并能从单一数据集中实现多目标学习，显著提升灵活性与可重用性。
• 用周期性地使用全部收集数据对模型进行完整重估计，替代增量更新，可提升学习稳定性和性能，尤其在数据高效设置中表现更优。
• 该框架表明，探索策略的设计目标不应是即时任务表现，而应是最大化所收集数据对未来推理的有用性。