[논문 리뷰] d3rlpy: An Offline Deep Reinforcement Learning Library

Takuma Seno, Michita Imai|arXiv (Cornell University)|2021. 11. 06.

Reinforcement Learning in Robotics참고 문헌 35인용 수 42

한 줄 요약

d3rlpy는 Python으로 구현된 오픈 소스 오프라인 및 온라인 딥 RL 라이브러리로, Plug-and-play API, 표준화된 인터페이스, 그리고 D4RL 및 Atari 데이터세트를 사용한 대규모 재현성 벤치마크를 제공합니다.

ABSTRACT

In this paper, we introduce d3rlpy, an open-sourced offline deep reinforcement learning (RL) library for Python. d3rlpy supports a set of offline deep RL algorithms as well as off-policy online algorithms via a fully documented plug-and-play API. To address a reproducibility issue, we conduct a large-scale benchmark with D4RL and Atari 2600 dataset to ensure implementation quality and provide experimental scripts and full tables of results. The d3rlpy source code can be found on GitHub: \url{https://github.com/takuseno/d3rlpy}.

연구 동기 및 목표

• Python에서 오픈 소스이며 완전한 문서화가 된 오프라인 딥 RL 라이브러리를 제공한다.
• PyTorch로 구축된 오프라인 및 온라인 RL 알고리즘을 위한 플러그앤플레이 API를 제공한다.
• 연구자 간의 통합 및 재현성을 용이하게 하기 위해 인터페이스를 표준화한다.
• D4RL 및 Atari 2600 데이터세트와 실험 스크립트를 제공하여 재현성을 입증한다.

제안 방법

• 오프라인 및 온라인 RL 학습을 위한 scikit-learn 스타일의 API를 도입한다 (fit 및 fit_online).
• 표준화된 오프라인 RL 데이터 처리를 위한 전용 MDPDataset 구성 요소를 정의한다.
• 고수준 학습 흐름과 저수준 업데이트를 분리하기 위해 AlgorithmImpl를 포함한 계층적 Algorithm 설계를 구현한다.
• 사용자 정의 가능한 신경망 아키텍처와 분포형 Q-함수를 위한 EncoderFactory와 QFunctionFactory를 제공한다.
• 안정적인 오프라인 학습을 위한 Scaler, ActionScaler, RewardScaler로 데이터 전처리를 지원한다.
• 완전한 재현성 스크립트와 함께 D4RL 및 Atari 데이터세트에서 충실한 구현으로 알고리즘을 벤치마크한다.

실험 결과

연구 질문

• RQ1 오프라인 딥 RL 알고리즘을 어떻게 플러그앤플레이 라이브러리로 표준화할 수 있는가?
• RQ2 D4RL 및 Atari와 같은 데이터세트에서 오프라인 RL에 대해 재현 가능하고 충실한 벤치마크를 얻으려면 어떤 설계 선택이 필요한가?
• RQ3 통합 API가 오프라인 전용과 오프라인-투-온라인 학습 워크플로를 효과적으로 지원할 수 있는가?
• RQ4 오프라인 RL 성능과 재현성을 개선하는 전처리 및 모델 커스터마이징 옵션은 무엇인가?

주요 결과

• d3rlpy는 완전한 문서화된 API와 플러그앤플레이 호환성을 갖춘 오프라인 및 온라인 RL 알고리즘의 범위를 제공합니다.
• 라이브러리는 표준화된 데이터 처리(MDPDataset)와 모듈식 구성 요소(EncoderFactory, QFunctionFactory)를 중심으로 구축되어 사용자 지정 지원을 제공합니다.
• D4RL 및 Atari 데이터세트에 대한 대규모 벤치마크는 충실한 구현 품질과 재현성을 입증하며, 스크립트와 전체 결과를 제공합니다.
• 포괄적인 전처리(Scaler, ActionScaler, RewardScaler)와 유연한 모델 아키텍처가 오프라인 RL 성능에 기여합니다.
• 설계는 오프라인 학습에서 온라인 파인튜닝으로의 원활한 전환을 가능하게 하여 정책 개선에 대한 추가 연구를 촉진합니다.