[논문 리뷰] Communication-Efficient Distributed Reinforcement Learning

Tianyi Chen, Kaiqing Zhang외 2명|arXiv (Cornell University)|2018. 12. 07.

Distributed Control Multi-Agent Systems참고 문헌 42인용 수 41

한 줄 요약

이 논문은 분산 강화 학습(DRL)을 위한 통신 효율적인 정책 그래เดียน트 방법을 제안하며, 수렴 속도나 성능을 희생시키지 않은 채 통신 라운드를 적응적으로 생략함으로써 통신 오버헤드를 줄인다. 이 방법은 기존 정책 그래เดียน트와 동일한 수렴 속도를 달성하면서도 특히 이질적인 환경에서 통신 횟수를 크게 감소시킨다.

ABSTRACT

This paper deals with distributed reinforcement learning (DRL), which involves a central controller and a group of learners. In particular, two DRL settings encountered in several applications are considered: multi-agent reinforcement learning (RL) and parallel RL, where frequent information exchanges between the learners and the controller are required. For many practical distributed systems, however, such as those involving parallel machines for training deep RL algorithms, and multi-robot systems for learning the optimal coordination strategies, the overhead caused by these frequent communication exchanges is considerable, and becomes the bottleneck of the overall performance. To address this challenge, a novel policy gradient method is developed here to cope with such communication-constrained DRL settings. The proposed approach reduces the communication overhead without degrading learning performance by adaptively skipping the policy gradient communication during iterations. It is established analytically that i) the novel algorithm has convergence rate identical to that of the plain-vanilla policy gradient for DRL; while ii) if the distributed computing units are heterogeneous in terms of their reward functions and initial state distributions, the number of communication rounds needed to achieve a desirable learning accuracy is markedly reduced. Numerical experiments on a popular multi-agent RL benchmark corroborate the significant communication reduction attained by the novel algorithm compared to alternatives.

연구 동기 및 목표

• 다중 에이전트 및 병렬 RL 환경에서 분산 강화 학습(DRL) 시스템의 높은 통신 오버헤드 문제를 해결한다.
• 학습 성능을 떨어뜨리지 않고 학습자와 중심 제어기 간의 빈번한 통신을 줄인다.
• 통신 제약 조건 하에서 표준 정책 그래เดียน트 알고리즘과 유사한 수렴 속도를 유지하는 방법을 개발한다.
• 보상 함수와 초기 상태 분포가 다른 이질적인 분산 시스템에서도 효율적인 학습을 가능하게 한다.
• 실제 DRL 응용에서 원하는 학습 정확도에 도달하기 위해 필요한 통신 횟수를 최소화한다.

제안 방법

• 학습 진행 상황에 따라 특정 반복 동안 정책 그래เดียน트 업데이트를 생략하는 적응형 통신 메커니즘을 도입한다.
• 통신 빈도가 감소하더라도 수렴 보장을 유지하는 정책 그래เดียน트 알고리즘을 설계한다.
• 수렴 속도에 영향을 주지 않으면서도 안전하게 통신을 생략할 수 있는 조건을 수립한다.
• 분산 RL의 구조를 활용해 그래디언트 업데이트가 중복되거나 영향이 적은 경우를 식별한다.
• 통신을 생략해도 일반 정책 그래디언트와 동일한 해에 수렴하는 이론적 보장을 확보한다.
• 다중 에이전트 RL 및 병렬 RL 환경에 모두 적용하여 다양한 분산 아키텍처에서의 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 분산 RL에서 학습 성능이나 수렴 속도를 떨어뜨리지 않고 통신 오버헤드를 줄일 수 있는가?
• RQ2 이질적인 분산 RL 환경에서 정책 그래디언트 통신을 적응적으로 생략하면 수렴에 어떤 영향을 미치는가?
• RQ3 DRL에서 통신 효율적인 정책 그래디언트 방법에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 표준 정책 그래디언트와 동일한 학습 정확도를 유지하면서 통신 횟수를 얼마나 줄일 수 있는가?
• RQ5 기존의 통신 감소 기법과 비교해 실제 벤치마크에서 이 방법은 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 통신 빈도가 감소하더라도 기존 정책 그래디언트와 동일한 수렴 속도를 달성한다.
• 보상 함수와 초기 상태 분포가 다른 이질적 환경에서는 요구되는 통신 획수의 감소가 뚜렷하게 나타난다.
• 표준 다중 에이전트 RL 벤치마크에서의 수치 실험 결과, 기준 방법 대비 상당한 통신 오버헤드 감소를 입증했다.
• 이론적 수렴 보장을 유지하면서도 정책 그래디언트 업데이트를 적절히 생략함으로써 학습 성능를 유지한다.
• 적응형 생략 전략은 학습 정확도나 안정성에 손상 없이 상당한 통신 절감 효과를 낳는다.