[논문 리뷰] Fiber: A Platform for Efficient Development and Distributed Training for Reinforcement Learning and Population-Based Methods

Jiale Zhi, Rui Wang외 2명|arXiv (Cornell University)|2020. 03. 25.

Evolutionary Algorithms and Applications참고 문헌 35인용 수 5

한 줄 요약

Fiber는 강화학습(RL)과 인구기반 방법을 위한 확장성 있고 동적 분할된 분산 컴퓨팅 프레임워크로, 다양한 하드웨어에서 효율적인 개발과 고성능 훈련을 가능하게 한다. IPyParallel과 Spark보다 확장성과 효율성이 뛰어나며, PPO에서 256명의 워커를 사용할 경우 훈련 시간을 50% 이상 단축시키고, 32에서 1,024명의 워커로도 실패 없이 효과적으로 스케일링한다.

ABSTRACT

Recent advances in machine learning are consistently enabled by increasing amounts of computation. Reinforcement learning (RL) and population-based methods in particular pose unique challenges for efficiency and flexibility to the underlying distributed computing frameworks. These challenges include frequent interaction with simulations, the need for dynamic scaling, and the need for a user interface with low adoption cost and consistency across different backends. In this paper we address these challenges while still retaining development efficiency and flexibility for both research and practical applications by introducing Fiber, a scalable distributed computing framework for RL and population-based methods. Fiber aims to significantly expand the accessibility of large-scale parallel computation to users of otherwise complicated RL and population-based approaches without the need to for specialized computational expertise.

연구 동기 및 목표

• 강화학습과 인구기반 방법에 특화된 민첩하고 효율적이며 확장 가능한 분산 프레임워크의 부족을 해결한다.
• PyTorch, Ray, IPyParallel와 같은 기존 프레임워크가 이질적인 워크로드와 동적 스케일링을 처리하는 데 한계를 보이는 것을 극복한다.
• 최소한의 코드 변경으로 로컬 multiprocessing에서 대규모 분산 훈련으로의 원활한 전환을 가능하게 한다.
• 백엔드(로컬, 클러스터, 클라우드) 간 통합되고 저지연의 사용자 인터페이스를 지원하여 개발 효율성을 극대화한다.
• 연구자와 실무자들이 높은 처리량과 장애 내성 유지와 함께 시스템 엔지니어링 부담을 줄일 수 있도록 한다.

제안 방법

• Fiber는 효율적인 RL 및 인구기반 계산 작업 스케줄링을 위한 경량 작업풀을 갖춘 마스터-워커 아키텍처를 사용한다.
• 작업 추적 및 자원 관리를 위해 쿠버네티스와 같은 클러스터 매니저와 통합되어 단일 제어 저장소를 피한다.
• 워크로드 단계에 따라 필요에 따라 자원을 할당함으로써 동적 스케일링을 달성하여 변동하는 계산 요구에 세밀하게 적응한다.
• 표준 multiprocessing과 유사한 통일된 파이썬 API를 사용하여, 사용자가 단일 import 변경만으로 로컬에서 분산 실행으로 전환할 수 있다.
• 공유 노이즈 테이블과 효율적인 통신을 활용하여 ES와 PPO와 같은 인구기반 방법에서 오버헤드를 최소화한다.
• 작업 의존성 그래프와 같은 무거운 추상화를 피함으로써 Ray와 같은 시스템 대비 메모리 및 통신 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 강화학습과 인구기반 방법의 이질적 워크로드에서 성능을 희생시키지 않고도 자원을 동적으로 스케일링할 수 있는 분산 프레임워크는 가능한가?
• RQ2 Ray과 IPyParallel와 같은 무거운 프레임워크와 비교할 때 Fiber의 경량 설계는 확장성과 런타임 효율성 측면에서 어떻게 성과를 내는가?
• RQ3 Fiber는 최소한의 코드 변경으로 단일 머신 multiprocessing에서 대규모 분산 훈련으로의 원활한 마이그레이션을 얼마나 잘 지원할 수 있는가?
• RQ4 특히 계산 집약적인 RL 워크로드에서 수천 명의 워커로 확장할 때 Fiber는 낮은 오버헤드를 유지할 수 있는가?
• RQ5 기존 시스템보다 변수 길이 시뮬레이션 롤아웃과 단계 기반 자원 수요를 더 효과적으로 처리할 수 있는가?

주요 결과

• Fiber는 PPO 훈련에서 비선형적 스피드업을 달성하여, 8명에서 256명의 워커로 확장할 경우 멀티프로세싱 대비 총 훈련 시간을 50% 이상 단축시켰다.
• 256명의 워커를 사용할 경우 Fiber는 8명의 워커 멀티프로세싱 기준선 대비 훈련 시간을 절반 이하로 줄여, 단일 머신 한계를 초월한 강력한 확장성을 입증했다.
• ES에서 32에서 1,024명의 워커로 효율적으로 확장되었으며, 훈련 시간이 지속적으로 감소했고, IPyParallel는 통신 오류로 1,024명의 워커에서 실패했다.
• 높은 워커 수에서도 멀티프로세싱 대비 1~3%의 성능 오버헤드를 유지하여 낮은 런타임 비용을 입증했다.
• 모든 테스트 구성에서 IPyParallel를 능가하여 대규모 병렬 워크로드에서 뛰어난 확장성과 신뢰성을 입증했다.
• 단일 코드 변경(‘multiprocessing’을 ‘fiber’로 교체)으로 단일 머신 PPO 구현을 분산 버전으로 전환할 수 있었으며, 이는 개발 효율성의 높음을 시사한다.