[论文解读] TorchRL: A data-driven decision-making library for PyTorch

Albert Bou, Matteo Bettini+6 more|arXiv (Cornell University)|Jun 1, 2023

Reinforcement Learning in Robotics被引用 13

一句话总结

本文介绍 TorchRL，并提供一个使用 DQNLoss、简单价值网络以及 PyTorch 中的一键热编码离散动作规范的示例工作流。

ABSTRACT

PyTorch has ascended as a premier machine learning framework, yet it lacks a native and comprehensive library for decision and control tasks suitable for large development teams dealing with complex real-world data and environments. To address this issue, we propose TorchRL, a generalistic control library for PyTorch that provides well-integrated, yet standalone components. We introduce a new and flexible PyTorch primitive, the TensorDict, which facilitates streamlined algorithm development across the many branches of Reinforcement Learning (RL) and control. We provide a detailed description of the building blocks and an extensive overview of the library across domains and tasks. Finally, we experimentally demonstrate its reliability and flexibility and show comparative benchmarks to demonstrate its computational efficiency. TorchRL fosters long-term support and is publicly available on GitHub for greater reproducibility and collaboration within the research community. The code is open-sourced on GitHub.

研究动机与目标

• 将 TorchRL 介绍为用于 PyTorch 的数据驱动决策库。
• 展示一个使用 DQNLoss 和简单价值网络的示例工作流。
• 展示与 PyTorch 中的一键热编码离散动作规范的集成。

提出的方法

• 引入使用 OneHotDiscreteTensorSpec 定义的 action_space 的 DQNLoss 目标。
• 使用一个简单的线性 value_network，将 n_obs 映射到 n_action。
• 构建并使用具有定义的 action_space 的 DQNLoss 对象。
• 提供一个最小的数据观测和 next_observation 示例以说明工作流。

实验结果

研究问题

• RQ1 在 TorchRL 中针对离散动作空间，DQNLoss 的最小使用模式是什么？
• RQ2 如何将一个简单的价值网络与 TorchRL 的 DQNLoss 集成以执行学习信号？
• RQ3 OneHotDiscreteTensorSpec 如何帮助在 TorchRL 中定义离散动作空间？

主要发现

• 演示了在 TorchRL 中将 DQNLoss 与简单线性价值模型集成。
• 展示如何通过 OneHotDiscreteTensorSpec 定义一键热编码的离散动作空间。
• 提供一个简洁的代码片段，演示观测、动作与损失的端到端用法。