[논문 리뷰] RLlib Flow: Distributed Reinforcement Learning is a Dataflow Problem

Eric Liang, Zhanghao Wu외 4명|arXiv (Cornell University)|2020. 11. 25.

Reinforcement Learning in Robotics참고 문헌 29인용 수 4

한 줄 요약

이 논문은 분산 강화학습을 데이터플로우 문제로 재구성함으로써 고수준, 조합 가능하고 성능이 뛰어난 구현을 가능하게 하는 하이브리드 액터-데이터플로우 프로그래밍 모델인 RLlib Flow를 제안한다. 데이터플로우 추상화와 제어된 액터 메시지 전달을 조합함으로써, 생산 코드를 2–9× 줄이고 이전에는 저수준 시스템 프로그래밍 없이 구현이 불가능했던 복잡한 다중에이전트 알고리즘을 지원한다.

ABSTRACT

Researchers and practitioners in the field of reinforcement learning (RL) frequently leverage parallel computation, which has led to a plethora of new algorithms and systems in the last few years. In this paper, we re-examine the challenges posed by distributed RL and try to view it through the lens of an old idea: distributed dataflow. We show that viewing RL as a dataflow problem leads to highly composable and performant implementations. We propose RLlib Flow, a hybrid actor-dataflow programming model for distributed RL, and validate its practicality by porting the full suite of algorithms in RLlib, a widely adopted distributed RL library. Concretely, RLlib Flow provides 2-9 code savings in real production code and enables the composition of multi-agent algorithms not possible by end users before. The open-source code is available as part of RLlib at https://github.com/ray-project/ray/tree/master/rllib.

연구 동기 및 목표

• 기존 분산 RL 라이브러리들이 저수준 메시지 전달을 요구하고 조합성이 떨어져서 접근 장벽이 높고 확장성이 부족한 문제를 해결하기 위해.
• 연구자와 실무자가 깊은 시스템 전문 지식 없이도 쉽게 분산 RL 알고리즘을 커스터마이징하고 디버깅하며 조합할 수 있도록 하기 위해.
• 생산용 RL 코드의 복잡성과 반복 코드를 줄이면서도 높은 성능을 유지하기 위해.
• 이전에는 불가능했던 신규 사용 사례, 예를 들어 다양한 알고리즘의 교차 훈련이나 복잡한 다중에이전트 훈련 패턴을 지원하기 위해.
• 고수준 데이터플로우 추상화가 저수준 액터 기반 구현과 동등하거나 이를 초월하는 성능을 낼 수 있음을 보여주기 위해.

제안 방법

• 저자들은 데이터플로우 연산자와 명시적 액터 프로세스 참조를 조합한 하이브리드 액터-데이터플로우 모델을 설계하여 제어된 메시지 전달을 가능하게 한다.
• 데이터플로우 조각과 액터 간의 동기화를 관리하기 위해 순서화 및 동시성 연산자(예: Union, 바리에이션 의미론)를 도입한다.
• Ray를 기반으로 구현하여 액터 및 분산 작업 실행 기반 기능을 활용함으로써 고수준 추상화를 노출하면서도 성능을 유지한다.
• 핵심 기능으로는 병렬 데이터 처리를 위한 데이터플로우 연산자와 대상 지정 통신을 위한 액터 참조를 포함하며, 분산 실행에 대한 세밀한 제어를 가능하게 한다.
• 알고리즘 토폴로지가 조합 가능한 데이터플로우 그래프로 표현되고 액터 상호작용이 내장된 방식으로 동기 및 비동기 훈련 패턴을 모두 지원한다.
• 모델은 RLlib의 모든 알고리즘을 RLlib Flow로 이식함으로써 검증되었으며, 원래의 저수준 구현과 동등한 코드 감소와 성능를 보여주었다.

실험 결과

연구 질문

• RQ1 분산 강화학습을 효과적으로 데이터플로우 문제로 모델링할 수 있는가? 이는 조합성과 개발자 생산성을 향상시킬 수 있는가?
• RQ2 하이브리드 액터-데이터플로우 모델은 성능을 희생시키지 않고 분산 RL 알고리즘을 구현하는 복잡성을 얼마나 줄일 수 있는가?
• RQ3 이 모델은 이전에 고수준 RL 라이브러리로는 구현이 불가능했던 새로운 알고리즘 조합(예: 다중에이전트 또는 메타학습 워크플로우)을 가능하게 할 수 있는가?
• RQ4 실세계 RL 워크로드에서 고수준 데이터플로우 추상화의 성능는 저수준 액터 기반 구현과 비교해 어떻게 되는가?
• RQ5 사전 정의된 템플릿으로 표현할 수 없는 사용자 정의 복잡한 분산 패턴(예: 교차 훈련 등)을 이 모델이 지원할 수 있는가?

주요 결과

• RLlib Flow는 RLlib에서 분산 실행을 위한 코드 라인 수를 2–9× 줄여 구현 및 유지보수 오버헤드를 크게 감소시켰다.
• 이 모델은 이전에는 저수준 시스템 코드를 작성하지 않고서는 구현이 불가능했던 다중에이전트 RL 알고리즘의 조합을 가능하게 하였다.
• 성능 벤치마크 결과, RLlib Flow는 이론적 최적 성능에 매우 가까운 성능을 기록했으며, CartPole-v0에서 PPO 훈련 시 Spark Streaming와 비교해 유사하거나 뛰어난 스루풋을 보였다.
• 원래의 RLlib 저수준 액터 및 RPC 기반 구현과 동등한 성능를 유지함으로써, 고수준 추상화가 성능 손실을 동반하지 않음을 입증하였다.
• 하이브리드 모델은 데이터플로우 추상화와 대상 지정 액터 메시지 전달을 성공적으로 통합하여 복잡한 훈련 워크플로우에서 조합성과 효율적인 동기화를 모두 달성하였다.
• RLlib Flow의 오픈소스 구현은 RLlib 라이브러리 내부에 포함되어 있어 연구자 및 실무자 커뮤니티가 쉽게 도입하고 확장할 수 있도록 하였다.