[논문 리뷰] TorchRL: A data-driven decision-making library for PyTorch

Albert Bou, Matteo Bettini외 6명|arXiv (Cornell University)|2023. 06. 01.

Reinforcement Learning in Robotics인용 수 13

한 줄 요약

본 논문은 TorchRL를 소개하고, PyTorch에서 간단한 가치 네트워크와 원-핫(discrete) 이산 행동 사양을 사용하는 DQNLoss의 예제 워크플로를 제공합니다.

ABSTRACT

PyTorch has ascended as a premier machine learning framework, yet it lacks a native and comprehensive library for decision and control tasks suitable for large development teams dealing with complex real-world data and environments. To address this issue, we propose TorchRL, a generalistic control library for PyTorch that provides well-integrated, yet standalone components. We introduce a new and flexible PyTorch primitive, the TensorDict, which facilitates streamlined algorithm development across the many branches of Reinforcement Learning (RL) and control. We provide a detailed description of the building blocks and an extensive overview of the library across domains and tasks. Finally, we experimentally demonstrate its reliability and flexibility and show comparative benchmarks to demonstrate its computational efficiency. TorchRL fosters long-term support and is publicly available on GitHub for greater reproducibility and collaboration within the research community. The code is open-sourced on GitHub.

연구 동기 및 목표

• TorchRL를 PyTorch용 데이터 기반 의사결 decision 라이브러리로 소개합니다.
• DQNLoss와 간단한 가치 네트워크를 사용하는 예제 워크플로우를 선보입니다.
• PyTorch에서 원-핫 이산 행동 명세와의 통합을 보여줍니다.

제안 방법

• OneHotDiscreteTensorSpec로 정의된 action_space를 가진 DQNLoss 목표를 소개합니다.
• n_obs에서 n_action으로의 단순 선형 value_network를 사용합니다.
• 정의된 action_space를 가진 DQNLoss 객체를 구성하고 활용합니다.
• 워크플로를 설명하기 위한 최소한의 data-observation 및 next_observation 예제를 제공합니다.

실험 결과

연구 질문

• RQ1 이산 행동 공간에 대해 TorchRL 내에서 DQNLoss의 최소 사용 패턴은 무엇인가요?
• RQ2 간단한 가치 네트워크를 TorchRL의 DQNLoss와 어떻게 통합하여 학습 신호를 얻을 수 있나요?
• RQ3 OneHotDiscreteTensorSpec가 TorchRL에서 이산 행동 공간 정의를 어떻게 용이하게 하나요?

주요 결과

• TorchRL에서 DQNLoss를 간단한 선형 가치 모델과 통합하는 것을 보여줍니다.
• OneHotDiscreteTensorSpec를 통해 원-핫 이산 행동 공간을 정의하는 방법을 보여줍니다.
• 관찰값, 행동, 손실의 엔드투엔드 사용을 보여주는 간결한 코드 조각을 제공합니다.