[논문 리뷰] Ray RLLib: A Composable and Scalable Reinforcement Learning Library

Eric Liang, Richard Liaw외 6명|arXiv (Cornell University)|2017. 12. 07.

Reinforcement Learning in Robotics참고 문헌 51인용 수 109

한 줄 요약

Ray RLLib는 태스크 기반 프로그래밍 모델을 기반으로 한 구성 가능하고 확장 가능한 강화학습 라이브러리로, 세밀한 병렬 처리와 강화학습 컴포넌트의 모듈화된 재사용을 가능하게 한다. 개별 컴포넌트 내부에 자원과 계산 요구 사항을 봉인함으로써, 최적화된 기준 구현체와 동등하거나 그 이상의 성능을 달성하면서도 최신 알고리즘의 광범위한 범위를 지원한다.

ABSTRACT

Reinforcement learning (RL) algorithms involve the deep nesting of distinct components, where each component typically exhibits opportunities for distributed computation. Current RL libraries offer parallelism at the level of the entire program, coupling all the components together and making existing implementations difficult to extend, combine, and reuse. We argue for building composable RL components by encapsulating parallelism and resource requirements within individual components, which can be achieved by building on top of a flexible task-based programming model. We demonstrate this principle by building Ray RLLib on top of Ray and show that we can implement a wide range of state-of-the-art algorithms by composing and reusing a handful of standard components. This composability does not come at the cost of performance --- in our experiments, RLLib matches or exceeds the performance of highly optimized reference implementations. Ray RLLib is available as part of Ray at this https URL

연구 동기 및 목표

• 기존 강화학습 라이브러리의 유연성 부족 문제를 해결하여 컴포넌트가 결합되어 있으며 확장성이 제한됨.
• 각 개별 강화학습 컴포넌트에 자원 및 계산 요구 사항을 봉인함으로써 세밀하고 구성 가능한 병렬 처리를 가능하게 함.
• 복잡한 강화학습 알고리즘을 소규모의 재사용 가능하고 확장 가능한 컴포넌트 조합으로 구현할 수 있음을 입증함.
• 구성 가능성이나 확장성의 손실 없이 높은 성능을 달성함.
• 현대적 강화학습 알고리즘을 구현하고 실험하기 위한 유연하고 확장 가능한 프레임워크 제공

제안 방법

• Ray의 태스크 기반 프로그래밍 모델을 기반으로 Ray RLLib를 구축하여 동적이고 세밀한 태스크 스케줄링 및 자원 관리를 가능하게 함.
• 정책, 가치 함수, 리PLAY 버퍼와 같은 각 강화학습 컴포넌트를 자원 및 계산 요구 사항이 명시된 고립된, 구성 가능한 단위로 봉인함.
• Ray의 분산 실행 모델을 사용하여 컴포넌트를 여러 머신과 GPU에 걸쳐 투명하게 분산 실행함.
• 모듈화된 인터페이스를 설계하여 표준 강화학습 빌딩 블록을 임의로 조합할 수 있도록 함.
• Ray의 장애 내성 및 자동 확장 기능을 활용하여 동적 워크로드와 자원 할당을 처리함.
• 저수준 재구현 없이도 이러한 재사용 가능한 컴포넌트를 조합하여 표준 강화학습 알고리즘을 구현함.

실험 결과

연구 질문

• RQ1 고성능과 확장성을 유지하면서도 강화학습 컴포넌트를 구성 가능하게 만들 수 있는가?
• RQ2 개별 컴포넌트에 병렬 처리 및 자원 관리 기능을 봉인함으로써 확장성과 재사용성이 향상되는가?
• RQ3 소규모의 표준화된 구성 가능한 컴포넌트 집합만으로도 최신 강화학습 알고리즘의 광범위한 범위를 구현할 수 있는가?
• RQ4 Ray RLLib의 구성 가능한 아키텍처가 고도로 최적화된 단일 모듈형 강화학습 구현체와 동등하거나 그 이상의 성능을 달성하는가?
• RQ5 Ray의 태스크 기반 프로그래밍 모델이 강화학습 컴포넌트의 효율적이고 민첩한 분산 처리를 어떻게 가능하게 하는가?

주요 결과

• Ray RLLib는 소규모의 구성 가능하고 재사용 가능한 컴포넌트 집합만으로도 최신 강화학습 알고리즘의 광범위한 범위를 성공적으로 구현함.
• 구성 가능한 아키텍처 덕분에 성능 손실 없이 컴포넌트의 원활한 재사용과 조합이 가능함.
• 베이지라인 환경에서 Ray RLLib는 고도로 최적화된 기준 구현체와 동등하거나 그 이상의 성능을 달성함.
• Ray의 태스크 기반 모델은 이질적인 하드웨어에 걸쳐 강화학습 컴포넌트를 효율적이고 투명하게 분산 처리할 수 있도록 함.
• 컴포넌트 내부에 자원 및 계산 요구 사항을 봉인함으로써 모듈성이 향상되고 확장 및 실험의 단순화가 가능함.
• 고성능과 구성 가능성은 강화학습 라이브러리 설계에서 상호 배타적이지 않음을 시스템이 입증함.