[論文レビュー] TorchRL: A data-driven decision-making library for PyTorch

Albert Bou, Matteo Bettini+6 more|arXiv (Cornell University)|Jun 1, 2023

Reinforcement Learning in Robotics被引用数 13

ひとこと要約

本論文は TorchRL を提示し、PyTorch における簡単な value network と one-hot ディスクリートアクション指定を用いた DQNLoss の例となるワークフローを提供します。

ABSTRACT

PyTorch has ascended as a premier machine learning framework, yet it lacks a native and comprehensive library for decision and control tasks suitable for large development teams dealing with complex real-world data and environments. To address this issue, we propose TorchRL, a generalistic control library for PyTorch that provides well-integrated, yet standalone components. We introduce a new and flexible PyTorch primitive, the TensorDict, which facilitates streamlined algorithm development across the many branches of Reinforcement Learning (RL) and control. We provide a detailed description of the building blocks and an extensive overview of the library across domains and tasks. Finally, we experimentally demonstrate its reliability and flexibility and show comparative benchmarks to demonstrate its computational efficiency. TorchRL fosters long-term support and is publicly available on GitHub for greater reproducibility and collaboration within the research community. The code is open-sourced on GitHub.

研究の動機と目的

• PyTorch のデータ駆動型意思決定ライブラリとして TorchRL を紹介する。
• DQNLoss と簡単な value_network を用いた例示的なワークフローを紹介する。
• PyTorch における one-hot ディスクリートアクション指定との統合を示す。

提案手法

• OneHotDiscreteTensorSpec によって定義された action_space とともに DQNLoss objective を紹介する。
• n_obs から n_action への単純な linear value_network を用いる。
• 定義された action_space を用いて DQNLoss オブジェクトを構築・利用する。
• ワークフローを説明するための最小限の data-observation および next_observation の例を提供する。

実験結果

リサーチクエスチョン

• RQ1 離散アクション空間に対する TorchRL 内の DQNLoss の最小限の使用パターンは何か？
• RQ2 単純な value_network を TorchRL の DQNLoss と統合して学習信号を実行するにはどうすればよいか？
• RQ3 OneHotDiscreteTensorSpec は TorchRL でディスクリートアクション空間の定義をどのように支援するか？

主な発見

• TorchRL における DQNLoss と単純な linear value model の統合を示している。
• OneHotDiscreteTensorSpec を介して one-hot ディスクリートアクション空間を定義する方法を示している。
• 観測、アクション、損失のエンドツーエンドの使用を示すコンパクトなコードスニペットを提供する。