[논문 리뷰] Baconian: A Unified Open-source Framework for Model-Based Reinforcement Learning

Linsen Dong, Guanyu Gao외 3명|arXiv (Cornell University)|2019. 04. 23.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

Baconian은 모델 기반 강화학습(MBRL) 연구를 간소화하기 위해 모듈식이고 재사용 가능한 구성 요소를 제공함으로써 MBRL 연구를 통합하고 개선하기 위해 설계된 개방형 프레임워크입니다. 환경, 알고리즘, 학습 제어 흐름, 실험 모니터링을 위한 구성 가능한 플러그 및 플레이 모듈을 통해 구현 오버헤드를 줄이며, 최소한의 코드로 빠른 프로토타ип링과 재현 가능한 실험을 가능하게 합니다.

ABSTRACT

Model-Based Reinforcement Learning (MBRL) is one category of Reinforcement Learning (RL) algorithms which can improve sampling efficiency by modeling and approximating system dynamics. It has been widely adopted in the research of robotics, autonomous driving, etc. Despite its popularity, there still lacks some sophisticated and reusable open-source frameworks to facilitate MBRL research and experiments. To fill this gap, we develop a flexible and modularized framework, Baconian, which allows researchers to easily implement a MBRL testbed by customizing or building upon our provided modules and algorithms. Our framework can free users from re-implementing popular MBRL algorithms from scratch thus greatly save users' efforts on MBRL experiments.

연구 동기 및 목표

• 모델 기반 강화학습(MBRL) 연구를 위한 통합적이고 확장 가능한 개방형 프레임워크의 부족을 해결하기 위해.
• 재사용 가능한 모듈식 구성 요소를 제공함으로써 MBRL 알고리즘의 구현, 재현, 벤치마킹에 필요한 노력을 줄이기 위해.
• 유연성과 적용 범위를 넓히기 위해 모델 기반 및 모델리스 강화학습 알고리즘을 모두 지원하기 위해.
• 플러그 및 플레이 설계와 최소한의 코드 설정을 통해 새로운 MBRL 알고리즘의 빠른 프로토타입링을 촉진하기 위해.
• 초기화, 로깅, 시각화를 포함한 초광범위한 실험 유틸리티를 제공하여 연구 워크플로우를 단순화하기 위해.

제안 방법

• 복잡한 종속성을 분리하기 위해 실험 관리자, 학습 엔진, 모니터라는 세 가지 핵심 구성 요소를 가진 모듈식 프레임워크를 설계하기 위해.
• 학습 프로세스를 추상화하고 조율하기 위해 학습 엔진 내부에 제어 흐름 모듈을 구현하여 데이터 수집, 정책 및 동역학 모델 최적화, 테스트를 포함한 과정을 관리하기 위해.
• 확장 가능한 모델 학습을 가능하게 하기 위해 신경망 구축, 학습, 관리에 TensorFlow 통합을 지원하기 위해.
• 환경(예: OpenAI Gym, DeepMind Control Suite), 알고리즘(예: ME-TRPO, iLQR, MPC, PPO), 탐색 전략을 위한 구성 가능한 대체 가능한 모듈을 제공하기 위해.
• 실험 간에 쉽게 구성, 로드, 저장할 수 있도록 사용자 友好的한 하이퍼파rameter 관리 시스템을 통합하기 위해.
• 모니터 및 실험 레코더 구성 요소를 통해 표준화된 로깅, 상태 추적, 결과 기록을 통해 실험의 재현성과 진단 기능을 강화하기 위해.

실험 결과

연구 질문

• RQ1 통합형 개방형 프레임워크는 모델 기반 강화학습 연구를 위한 연구자들이 겪는 구현 부담을 어떻게 줄일 수 있는가?
• RQ2 모듈식 프레임워크는 하나의 확장 가능한 시스템 내에서 모델 기반 및 모델리스 강화학습 알고리즘을 얼마나 잘 지원할 수 있는가?
• RQ3 표준화된 제어 흐름 추상화는 복잡한 MBRL 학습 파이프라인의 조율을 얼마나 단순화할 수 있는가?
• RQ4 이러한 프레임워크는 얼마나 효과적으로 최소한의 코드 변경으로 새로운 MBRL 알고리즘의 빠른 프로토타입링과 벤치마킹을 지원할 수 있는가?
• RQ5 통합된 실험 관리(예: 로깅, 하이퍼파rameter 처리)는 MBRL 연구의 재현성과 효율성 향상에 어떤 역할을 하는가?

주요 결과

• Baconian은 환경, 알고리즘, 학습 제어 흐름을 위한 사전 구현된 모듈식 구성 요소를 제공함으로써 MBRL 알고리즘의 구현 및 재현에 필요한 노력을 성공적으로 줄였습니다.
• 프레임워크는 Dyna, ME-TRPO, MPC, iLQR, DQN, DDPG, PPO와 같은 최신 MBRL 알고리즘의 광범위한 지원을 통해 직접 비교 및 벤치마킹을 가능하게 합니다.
• 하이퍼파rameter 관리 및 로깅과 같은 통합 실험 유틸리티는 실험 설정 및 구성의 오버헤드를 크게 감소시킵니다.
• 모듈식 아키텍처는 사용자가 내장된 모듈을 직접 사용하거나 커스터마이징할 수 있도록 하여 최소한의 코드로 빠른 프로토타입링을 가능하게 하며, 제공된 단계별 설정 가이드를 통해 이를 입증했습니다.
• 프레임워크는 확장 가능하고 재사용 가능하며, https://baconian-public.readthedocs.io에서 이용 가능한 상세한 문서와 API 참조를 통해 연구 커뮤니티의 광범위한 채택을 지원합니다.
• 코드베이스에는 초도 벤치마크 결과가 포함되어 있어 프레임워크가 연구 및 실험에 즉시 사용 가능한 상태임을 입증하고 있습니다.