[논문 리뷰] Catalyst.RL: A Distributed Framework for Reproducible RL Research

Sergey Kolesnikov, Oleksii Hrinchuk|arXiv (Cornell University)|2019. 02. 28.

Reinforcement Learning in Robotics참고 문헌 24인용 수 5

한 줄 요약

Catalyst.RL은 복제 가능한 딥 강화학습 연구를 위한 오픈소스이자 분산형 PyTorch 프레임워크로, 하이퍼파rameter 설정 가능성, 비동기 학습, 오프-폴리시 알고리즘 지원에 중점을 두고 있다. 이 프레임워크를 통해 저자들은 느린 시뮬레이터에서 샘플 효율적인 에이전트를 훈련시켜 NeurIPS 2018 AI for Prosthetics 챌린지에서 3등을 기록했으며, 최소한의 하이퍼파rameter 튜닝으로도 벤치마크 환경 전반에서 뛰어난 성능을 보였다.

ABSTRACT

Despite the recent progress in deep reinforcement learning field (RL), and, arguably because of it, a large body of work remains to be done in reproducing and carefully comparing different RL algorithms. We present catalyst.RL, an open source framework for RL research with a focus on reproducibility and flexibility. Main features of our library include large-scale asynchronous distributed training, easy-to-use configuration files with the complete list of hyperparameters for the particular experiments, efficient implementations of various RL algorithms and auxiliary tricks, such as frame stacking, n-step returns, value distributions, etc. To vindicate the usefulness of our framework, we evaluate it on a range of benchmarks in a continuous control, as well as on the task of developing a controller to enable a physiologically-based human model with a prosthetic leg to walk and run. The latter task was introduced at NeurIPS 2018 AI for Prosthetics Challenge, where our team took the 3rd place, capitalizing on the ability of catalyst.RL to train high-quality and sample-efficient RL agents.

연구 동기 및 목표

• 기존 알고리즘의 높은 변동성과 하이퍼파aram터 민감성으로 인해 발생하는 딥 강화학습 분야의 복제 가능성 위기 문제를 해결하기 위해.
• 공정한 사과에서 사과로의 비교를 가능하게 하는 통합적이고 확장 가능하며 설정 가능한 프레임워크를 제공하기 위해.
• 공유된 경험 리プレイ와 효율적인 통신을 통해 샘플 효율성을 향상시키는 대규모 분산 학습을 지원하기 위해.
• 모듈화되고 재사용 가능한 구성 요소와 YAML 기반 설정을 통해 RL 알고리즘의 빠른 프로토타이핑 및 평가를 가능하게 하기 위해.
• NeurIPS 2018 AI for Prosthetics 챌린지와 같은 도전적인 벤치마크에서 프레임워크의 효과성을 입증하기 위해.

제안 방법

• 분산 학습 파이프라인을 사용하여 비동기 액터와 중앙 집중식 리더를 구현함으로써 다중 머신에서의 확장 가능한 학습을 가능하게 한다.
• YAML 설정 파일을 활용해 하이퍼파aram터를 완전히 정의하며, 신경망 아키텍처, 최적화기, 탐색 전략, 기울기 클리핑 등을 포함한다.
• 다양한 오프-폴리시 알고리즘(DDPG, TD3, SAC 등)을 구현하고, n-스텝 리턴 및 분포가 부여된 가치 함수 근사와 같은 고급 기법을 지원한다.
• 공유된 경험 리플레이 버퍼를 통해 여러 알고리즘 인스턴스가 동일한 데이터로 동시에 학습할 수 있도록 하여, 아키텍처 및 하이퍼파aram터 설정 간의 공정한 비교를 가능하게 한다.
• 연속 제어 환경(OpenAI Gym, DeepMind Control Suite)과 보다 복잡하고 느린 시뮬레이션 작업(예: 보철 다리 제어)을 모두 지원한다.
• 모델 정의에는 PyTorch를 활용하고, 분산 학습을 위한 효율적인 통신 프리미티브를 통합한다.

실험 결과

연구 질문

• RQ1 통합적이고 분산형인 RL 프레임워크가 딥 RL 알고리즘 간의 복제 가능성과 공정성에 기여할 수 있는가?
• RQ2 공유된 경험 리플레이와 YAML 기반 하이퍼파aram터 설정은 RL 학습의 일관성과 효율성에 어떤 영향을 미치는가?
• RQ3 분포가 부여된 가치 함수와 n-스텝 리턴은 다양한 연속 제어 환경에서 성능 향상에 얼마나 기여하는가?
• RQ4 Catalyst.RL은 매우 느린 시뮬레이터(예: 보철 다리를 장착한 생리학적 인간 모델)에서도 샘플 효율적인 학습을 가능하게 할 수 있는가?
• RQ5 병렬 학습을 통해 프레임워크는 최적의 알고리즘-하이퍼파aram터 조합을 신속하게 식별하는 데 기여하는가?

주요 결과

• 프레임워크는 NeurIPS 2018 AI for Prosthetics 챌린지에서 3등을 기록했으며, 약 1 프레임/초 속도로 작동하는 시뮬레이터에서 뛰어난 샘플 효율성을 보였다.
• BipedalWalkerHardcore-v2 환경에서 DDPG가 TD3와 SAC를 압도적으로 앞서며, 이는 확률적 정책에 기인한 높은 탐색 변동성 때문일 가능성이 높다.
• 대부분의 환경에서 n-스텝 리턴과 분포가 부여된 가치 함수 근사가 성능 향상에 기여했지만, 효과는 항상 유의미하지 않으며 추가 분석이 필요했다.
• 공유된 경험 리플레이의 사용으로 인해 다양한 환경에서 서로 다른 알고리즘과 하이퍼파aram터 설정 간의 공정한 비교가 가능했다.
• 6개의 벤치마크 작업에 걸친 DDPG, TD3, SAC의 학습 곡선을 분석한 결과, 어떤 특정 알고리즘이나 설정도 항상 우월한 성능를 보이지 않았으며, 이는 과제에 따라 하이퍼파aram터 튜닝이 필요함을 시사한다.
• 프레임워크의 분산 아키텍처 덕분에 24개의 CPU 샘플러와 1개의 GPU를 활용한 효율적인 학습이 가능했으며, 보철 제어 과제에서 안정적인 학습 곡선과 낮은 변동성을 확보했다.