[论文解读] d3rlpy: An Offline Deep Reinforcement Learning Library

Takuma Seno, Michita Imai|arXiv (Cornell University)|Nov 6, 2021

Reinforcement Learning in Robotics参考文献 35被引用 42

一句话总结

d3rlpy 是一个用 Python 编写的开源离线和在线深度强化学习库，具备即插即用的 API、标准化接口，并使用 D4RL 和 Atari 数据集进行的大规模可复现性基准。

ABSTRACT

In this paper, we introduce d3rlpy, an open-sourced offline deep reinforcement learning (RL) library for Python. d3rlpy supports a set of offline deep RL algorithms as well as off-policy online algorithms via a fully documented plug-and-play API. To address a reproducibility issue, we conduct a large-scale benchmark with D4RL and Atari 2600 dataset to ensure implementation quality and provide experimental scripts and full tables of results. The d3rlpy source code can be found on GitHub: \url{https://github.com/takuseno/d3rlpy}.

研究动机与目标

• 提供一个开源、文档完备的 Python 离线深度 RL 库。
• 为基于 PyTorch 构建的离线与在线 RL 算法提供一个即插即用的 API。
• 标准化接口以便于跨研究者的集成和可重复性。
• 通过针对 D4RL 和 Atari 2600 数据集的基准测试并提供实验脚本来证明可重复性。

提出的方法

• 引入一个面向离线与在线 RL 训练的 scikit-learn 风格 API（fit 和 fit_online）。
• 定义一个专用的 MDPDataset 组件，用于标准化的离线 RL 数据处理。
• 实现带有 AlgorithmImpl 的分层算法设计，以将高层训练流程与底层更新分离。
• 提供 EncoderFactory 和 QFunctionFactory，以实现可定制的神经网络结构和分布式 Q 函数。
• 通过 Scaler、ActionScaler 和 RewardScaler 支持数据预处理，以实现稳定的离线训练。
• 使用对 D4RL 和 Atari 数据集的忠实实现进行基准测试，并提供完整的可重复性脚本。

实验结果

研究问题

• RQ1 如何将离线深度强化学习算法标准化为一个可即插即用的库？
• RQ2 哪些设计选择能够在 D4RL、Atari 等数据集上实现离线 RL 的可重复且忠实的基准？
• RQ3 统一的 API 是否能够有效支持离线-only 与离线到在线的训练工作流？
• RQ4 哪些预处理和模型自定义选项可以提升离线 RL 的性能与可重复性？

主要发现

• d3rlpy 提供一系列离线和在线 RL 算法，具备完备文档的 API 和即插即用的兼容性。
• 该库围绕标准化数据处理（MDPDataset）和模块化组件（EncoderFactory，QFunctionFactory）构建，以支持自定义。
• 针对 D4RL 和 Atari 数据集的大规模基准测试证明实现质量和可重复性良好，提供脚本和完整结果。
• 全面的预处理（Scaler、ActionScaler、RewardScaler）和灵活的模型架构有助于提升离线 RL 的性能。
• 该设计实现了从离线训练到在线微调的无缝过渡，促进策略改进方面的进一步研究。