[论文解读] CORL: Research-oriented Deep Offline Reinforcement Learning Library

Denis Tarasov, Alexander Nikulin+3 more|arXiv (Cornell University)|Oct 13, 2022

Reinforcement Learning in Robotics被引用 9

一句话总结

CORL 是一个面向研究的单文件库，专用于深度离线强化学习及离线到在线强化学习，提供 16 种算法的极简、透明实现，并集成实验追踪与可复现的 D4RL 基准测试。通过隔离关键实现细节并提供云端记录的指标与性能参考，该库支持快速原型设计与可靠比较，涵盖 10 种离线方法与 6 种离线到在线方法。

ABSTRACT

CORL is an open-source library that provides thoroughly benchmarked single-file implementations of both deep offline and offline-to-online reinforcement learning algorithms. It emphasizes a simple developing experience with a straightforward codebase and a modern analysis tracking tool. In CORL, we isolate methods implementation into separate single files, making performance-relevant details easier to recognize. Additionally, an experiment tracking feature is available to help log metrics, hyperparameters, dependencies, and more to the cloud. Finally, we have ensured the reliability of the implementations by benchmarking commonly employed D4RL datasets providing a transparent source of results that can be reused for robust evaluation tools such as performance profiles, probability of improvement, or expected online performance.

研究动机与目标

• 解决现有模块化强化学习库中因复杂性和抽象性带来的障碍，提升研究人员对算法的理解与修改能力。
• 提供深度离线及离线到在线强化学习算法的极简、单文件实现，以提升可读性与实验便捷性。
• 通过在标准 D4RL 数据集上以一致超参数进行基准测试并记录日志，确保结果的可复现性与可靠性。
• 通过与 Weights & Biases 等实验追踪工具集成，支持高级分析，实现指标、超参数与依赖项的自动云端记录。
• 通过发布透明、可重用的结果（包括性能曲线与累积遗憾指标），为未来研究提供参考基准。

提出的方法

• 每种算法均以一个独立、自包含的 Python 文件实现（约 400–600 行），明确隔离环境、算法与评估参数，提升清晰度与可维护性。
• 使用 YAML 配置文件指定超参数、环境设置与训练配置，便于实验设置与可复现性。
• 与 Weights & Biases 集成，支持自动将指标、超参数与依赖项记录至云端，实现透明、可追溯的分析。
• 所有实现均在 D4RL 套件上经过严格基准测试，结果与已发表基线对比，确保正确性与一致性。
• 该库支持标准离线强化学习（如 CQL、IQL、BCQ）与新兴的离线到在线方法（如 ReBRAC、Cal-QL、SPOT），并支持在线微调实验。
• 性能通过标准指标（如平均回报、成功率与累积遗憾）进行评估，并在 4 个随机种子上进行显著性检验。

实验结果

研究问题

• RQ1 离线强化学习算法的极简单文件实现在多大程度上提升了研究的透明度与可复现性？
• RQ2 单文件实现与模块化库相比，在保持性能的同时，是否显著提升了可读性与可修改性？
• RQ3 在 D4RL 基准测试中，不同离线到在线微调策略（如 ReBRAC、Cal-QL、AWAC）在累积遗憾与最终性能方面如何比较？
• RQ4 像 CORL 这样轻量化、依赖项最少的库，是否能在不牺牲功能完整性的情况下，作为离线强化学习的可靠参考基准？
• RQ5 在 AntMaze 与 Adroit 环境中，通过性能曲线与改善概率指标分析，可从离线到在线方法的比较中得出哪些关键洞见？

主要发现

• 在在线微调后，ReBRAC 与 IQL 在 AntMaze 与 Adroit 环境中均取得最高平均性能，其中 ReBRAC 的平均累积遗憾为 0.19（19%），显著低于次优方法的 0.47。
• AWAC 在在线微调中表现较差，平均累积遗憾达 0.82，表明其在复杂任务上无法从在线适应中获益。
• CQL 与 Cal-QL 表现相近，Cal-QL 在任何 D4RL 任务中均未显著优于 CQL，表明其改进带来的增益有限。
• 在 AntMaze 中，CQL 与 Cal-QL 取得了最佳离线性能，但两者均未能解决 Adroit 任务，表明其在高维控制任务中泛化能力有限。
• IQL 与 ReBRAC 是唯一在微调后显著提升 Adroit 任务性能的算法，其中 ReBRAC 在 antmaze-large-diverse-v2 上实现了平均回报 28.41 分的提升。
• 性能曲线与改善概率分析确认 ReBRAC 为最强基线，在在线调优后 75% 的比较中表现优于其他方法。