[论文解读] Tianshou: a Highly Modularized Deep Reinforcement Learning Library

Jiayi Weng, Huayu Chen+7 more|arXiv (Cornell University)|Jul 29, 2021

Reinforcement Learning in Robotics参考文献 23被引用 114

一句话总结

Tianshou 是一个高度模块化、基于 PyTorch 的 DRL 库，强调用于在线和离线学习的构建块灵活性，配有 MuJoCo 基准测试，平均中位性能相比参考实现高出 15%。

ABSTRACT

In this paper, we present Tianshou, a highly modularized Python library for deep reinforcement learning (DRL) that uses PyTorch as its backend. Tianshou intends to be research-friendly by providing a flexible and reliable infrastructure of DRL algorithms. It supports online and offline training with more than 20 classic algorithms through a unified interface. To facilitate related research and prove Tianshou's reliability, we have released Tianshou's benchmark of MuJoCo environments, covering eight classic algorithms with state-of-the-art performance. We open-sourced Tianshou at https://github.com/thu-ml/tianshou/.

研究动机与目标

• 满足研究用途对支持在线和离线学习的模块化、可靠的 DRL 库的需求。
• 提供构建块而非单一的训练脚本，以促进快速原型设计和灵活的实验。
• 通过 MuJoCo 基准测试和开源发布来展示其可靠性和可用性。

提出的方法

• 具有四层的模块化架构：封装层、核心算法、交互 API 与应用脚本。
• 将训练范式标准化为 on-policy、off-policy 和 offline learning，配备回放缓冲区和数据收集器。
• 并行数据采样，提供异步选项以平衡仿真和推理负载，并与 EnvPool 兼容以提升速度。
• 全面的工具集，包括归一化、GAE、自动动作缩放、部分片段自举，以及多样化的日志记录工具（TensorBoard、Weights & Biases）。
• 开源，配有单元测试（覆盖率 94%）和一个 MuJoCo benchmark，在 9 个环境中比较 8 种算法。

实验结果

研究问题

• RQ1 如何通过一个将构建块与训练脚本分离的高度模块化库来促进 DRL 研究？
• RQ2 在一个框架内，基于统一的 PyTorch 接口是否能够高效支持在线、离线和模仿学习等技术？
• RQ3 与参考实现相比，Tianshou 的 MuJoCo 基准测试的可靠性和性能如何？

主要发现

• Tianshou 实现了用于易于原型设计的模块化架构，分离了共享的 DRL 基础设施。
• 该库实现了 94% 的代码覆盖率，并通过 MuJoCo 基准测试展示了可靠性。
• 在 MuJoCo 基准测试中，与参考实现相比，Tianshou 在 9 个环境中平均中位性能高出 15%。
• 通过统一接口，Tianshou 支持包括离线学习、GAIL 和 ICM 在内的广泛 DRL 技术。
• Tianshou 提供广泛的可用性特性，包括简单的安装、完善的文档以及严格的编码标准（PEP8）。