[論文レビュー] Communication-Efficient Distributed Reinforcement Learning

Tianyi Chen, Kaiqing Zhang+2 more|arXiv (Cornell University)|Dec 7, 2018

Distributed Control Multi-Agent Systems参考文献 42被引用数 41

ひとこと要約

本稿では、分散強化学習（DRL）における通信効率を向上させるための通信効率の良い方策勾配法を提案する。この手法は、収束速度や性能を損なわずに、通信の頻度を適応的に低減することで通信オーバーヘッドを削減する。本手法は、通常のポリシー勾配法と同一の収束速度を達成する一方で、特に非均質な環境において通信ラウンド数を顕著に削減する。

ABSTRACT

This paper deals with distributed reinforcement learning (DRL), which involves a central controller and a group of learners. In particular, two DRL settings encountered in several applications are considered: multi-agent reinforcement learning (RL) and parallel RL, where frequent information exchanges between the learners and the controller are required. For many practical distributed systems, however, such as those involving parallel machines for training deep RL algorithms, and multi-robot systems for learning the optimal coordination strategies, the overhead caused by these frequent communication exchanges is considerable, and becomes the bottleneck of the overall performance. To address this challenge, a novel policy gradient method is developed here to cope with such communication-constrained DRL settings. The proposed approach reduces the communication overhead without degrading learning performance by adaptively skipping the policy gradient communication during iterations. It is established analytically that i) the novel algorithm has convergence rate identical to that of the plain-vanilla policy gradient for DRL; while ii) if the distributed computing units are heterogeneous in terms of their reward functions and initial state distributions, the number of communication rounds needed to achieve a desirable learning accuracy is markedly reduced. Numerical experiments on a popular multi-agent RL benchmark corroborate the significant communication reduction attained by the novel algorithm compared to alternatives.

研究の動機と目的

• 分散強化学習（DRL）システムにおける高い通信オーバーヘッドを軽減すること、特にマルチエージェントおよび並列RL設定において。
• 学習パフォーマンスを低下させることなく、学習者と中央コントローラー間の頻繁な通信を削減すること。
• 通信制約下でも、標準のポリシー勾配法と同等の収束速度を維持する手法を開発すること。
• 報酬関数や初期状態分布が異なる非均質な分散システムにおいても、効率的な学習を可能にすること。
• 実用的なDRL応用において、望ましい学習精度に到達するまでの通信ラウンド数を最小限に抑えること。

提案手法

• 学習の進行状況に基づいて、特定の反復においてポリシー勾配の更新を適応的にスキップする、適応的通信メカニズムを導入する。
• 通信頻度が低下しても収束保証を維持できるポリシー勾配アルゴリズムを設計する。
• 収束速度に影響を及ぼさずに通信を安全にスキップできる条件を定式化する。
• 分散RLの構造を活用して、勾配更新が冗長または低効果であると判断できる状況を同定する。
• 通信をスキップしても、通常のポリシー勾配と同一の解に理論的に収束することを保証する。
• 本手法をマルチエージェントRLおよび並列RL設定の両方へ適用し、多様な分散アーキテクチャにおいて堅牢性を示す。

実験結果

リサーチクエスチョン

• RQ1 分散RLにおける通信オーバーヘッドを、学習パフォーマンスや収束速度を損なわずに低減できるか？
• RQ2 非均質な分散RLシステムにおいて、ポリシー勾配通信の適応的スキップが収束に与える影響は何か？
• RQ3 DRLにおける通信効率の良いポリシー勾配法に対して、どのような理論的保証を提供できるか？
• RQ4 標準のポリシー勾配法と同等の学習精度を維持しつつ、通信ラウンド数をどの程度まで削減できるか？
• RQ5 既存の通信削減技術と比較して、本手法は実世界のベンチマークでどの程度の性能を示すか？

主な発見

• 提案手法は、通信頻度が低下しても、通常のポリシー勾配法と同一の収束速度を達成する。
• 報酬関数や初期状態分布が異なる非均質な環境では、必要な通信ラウンド数が顕著に削減される。
• 標準的なマルチエージェントRLベンチマークにおける数値実験により、ベースライン手法と比較して顕著な通信オーバーヘッドの低減が確認された。
• 理論的収束保証を維持しつつ、ポリシー勾配の更新を適応的にスキップすることで、学習パフォーマンスを維持する。
• 適応的スキップにより、学習精度や安定性を損なわずに顕著な通信コストの削減が達成される。