[論文レビュー] Asynchronous Policy Evaluation in Distributed Reinforcement Learning over Networks.

Xingyu Sha, Jiaqi Zhang+3 more|arXiv (Cornell University)|Mar 1, 2020

Reinforcement Learning in Robotics参考文献 46被引用数 8

ひとこと要約

本稿では、有向ピアツーピアネットワーク上で、完全に非同期な分散強化学習アルゴリズムを提案し、新しいSAGベースの手法とプッシュプル拡張グラフを用いて、どのノードが更新するかに依存しない正確な線形収束率𝒪(c^k)を達成する。この手法により、遅延した隣接ノード情報を利用したローカルかついつでも可能な価値関数の更新が可能となり、線形スループット向上と遅延ノードへの耐性を実現する。

ABSTRACT

This paper proposes a \emph{fully asynchronous} scheme for the policy evaluation problem of distributed reinforcement learning (DisRL) over directed peer-to-peer networks. Without waiting for any other node of the network, each node can locally update its value function at any time by using (possibly delayed) information from its neighbors. This is in sharp contrast to the gossip-based scheme where a pair of nodes concurrently update. Though the fully asynchronous setting involves a difficult multi-timescale decision problem, we design a novel stochastic average gradient (SAG) based distributed algorithm and develop a push-pull augmented graph approach to prove its exact convergence at a linear rate of $\mathcal{O}(c^k)$ where $c\in(0,1)$ and $k$ increases by one no matter on which node updates. Finally, numerical experiments validate that our method speeds up linearly with respect to the number of nodes, and is robust to straggler nodes.

研究の動機と目的

• 信頼性の低いまたは遅延のある通信を伴う有向ピアツーピアネットワーク上での分散強化学習における方策評価の課題に対処する。
• 同期や調整なしに、各ノードが独立的かつ非同期的に自身の価値関数を更新できるようにする。
• 完全非同期設定における複数時間スケールダイナミクスの本質的困難を克服し、正確な収束を保証する。
• 更新順序やノード選択に依存しない線形収束レートを達成する。遅延情報が存在しても同様に成立する。
• 実用的な分散環境におけるノード数のスケーラビリティと遅延ノードへの耐性を実証する。

提案手法

• 非同期的方策評価に特化した新しい確率的平均勾配（SAG）ベースの分散アルゴリズムを設計する。
• 有向ネットワークにおける情報伝搬をモデル化・分析するためのプッシュプル拡張グラフフレームワークを導入する。
• 更新プロセスを分離し、各ノードが遅延した隣接ノードデータを用いてローカルに価値関数を更新できるようにする。
• 非同期更新と遅延勾配を考慮したリャプノフ関数を構築することで収束を保証する。
• プッシュプル機構を活用して、有向グラフにおける情報伝搬のバランスを維持する。
• 更新シーケンスやノードIDに依存しない、正確な線形収束率𝒪(c^k)（c ∈ (0,1)）を証明する。

実験結果

リサーチクエスチョン

• RQ1 同期なしで、完全に非同期な分散方策評価アルゴリズムが、有向ピアツーピアネットワーク上で正確に収束可能か？
• RQ2 遅延および非同期的な隣接ノード情報は、収束を保証しつつ、どのように価値関数の更新に効果的に統合できるか？
• RQ3 このような非同期スキームの収束レートは何か？また、更新順序に依存せず線形のままであるか？
• RQ4 提案手法は、ネットワーク内のノード数の増加に伴いどのようにスケーリングするか？
• RQ5 遅くまたは不規則に更新する遅延ノードに対して、アルゴリズムはどの程度耐性を示すか？

主な発見

• 提案アルゴリズムは、どのノードが更新するか、あるいはその順序にかかわらず、正確な線形収束率𝒪(c^k)（c ∈ (0,1)）を達成する。
• 収束レートは更新シーケンスに依存しないため、異種の更新頻度に対しても一貫したパフォーマンスを発揮する。
• 数値実験により、ノード数に比例した線形スケーリングが確認され、分散環境における強力なスループット向上が示された。
• アルゴリズムは遅延ノードに対しても耐性を示し、一部のノードが遅く更新しても収束性とパフォーマンスを維持する。
• プッシュプル拡張グラフフレームワークは、有向通信トポロジーを効果的に処理でき、非同期設定下でも正確な収束を実現した。