[論文レビュー] Fast Multi-Agent Temporal-Difference Learning via Homotopy Stochastic Primal-Dual Optimization

Dong-Sheng Ding, Xiaohan Wei+3 more|arXiv (Cornell University)|Aug 7, 2019

Reinforcement Learning in Robotics参考文献 64被引用数 12

ひとこと要約

本稿では、ホモトピーに基づく学習率適応と確率的プライマルデュアル最適化フレームワークを組み合わせた、マルチエージェント強化学習のための新規分散型時系列差分学習アルゴリズムを提案する。因果的オンポリシー採番とマルコフ連鎖データを考慮することで、$O(1/T)$ の改善された有限時間誤差バインディングを達成し、以前の最高の $O(1/\sqrt{T})$ のレートを上回る。

ABSTRACT

We study the policy evaluation problem in multi-agent reinforcement learning where a group of agents, with jointly observed states and private local actions and rewards, collaborate to learn the value function of a given policy via local computation and communication over a connected undirected network. This problem arises in various large-scale multi-agent systems, including power grids, intelligent transportation systems, wireless sensor networks, and multi-agent robotics. When the dimension of state-action space is large, the temporal-difference learning with linear function approximation is widely used. In this paper, we develop a new distributed temporal-difference learning algorithm and quantify its finite-time performance. Our algorithm combines a distributed stochastic primal-dual method with a homotopy-based approach to adaptively adjust the learning rate in order to minimize the mean-square projected Bellman error by taking fresh online samples from a causal on-policy trajectory. We explicitly take into account the Markovian nature of sampling and improve the best-known finite-time error bound from $O(1/\sqrt{T})$ to~$O(1/T)$, where $T$ is the total number of iterations.

研究の動機と目的

• エージェントが共同状態を共有するが、行動と報酬は個別である大規模マルチエージェントシステムにおけるポリシー評価問題に対処すること。
• 連結で無向なネットワーク上でローカル計算と通信が可能な分散型時系列差分学習アルゴリズムを開発すること。
• マルコフ連鎖採番下で、従来の $O(1/\sqrt{T})$ の境界を超えて、分散TD学習の有限時間収束レートを向上させること。
• オンラインオンポリシー採番を用いて、平均二乗投影ベルヌーイ誤差を最小化するホモトピー法による適応的学習率スケジューリングを統合すること。

提案手法

• エージェントのネットワーク上で、分散型ポリシー評価問題を確率的サドルポイント問題として定式化する。
• ローカル更新を用いて価値関数パラメータと双対変数を同時に最適化する分散型確率的プライマルデュアルアルゴリズムを導入する。
• 推定誤差と採番ダイナミクスの変化に応じて動的に学習率を調整するホモトピーに基づくアプローチを採用する。
• 学習中に発生するオンポリシー軌道の時間的依存性を反映するために、マルコフ連鎖採番モデルを組み込む。
• 非i.i.d.データ下での安定性と収束を保証するために、プロジェクションベースの更新ルールを用いる。
• 通信とエージェント間の平均化をモデル化するために、重み行列 $W$ を用いてネットワークミキシング特性を活用する。

実験結果

リサーチクエスチョン

• RQ1 分散型TD学習アルゴリズムは、マルチエージェントシステムにおいて、従来の手法よりも速い有限時間収束を達成できるか？
• RQ2 採番がマルコフ連鎖的でデータが分散している状況下で、適応的学習率スケジューリングは収束をどのように改善するか？
• RQ3 分散的でオンポリシー設定下でも、平均二乗投影ベルヌーイ誤差を $O(1/T)$ の収束レートで最小化できるか？
• RQ4 ネットワークトポロジーと通信構造は、分散TD学習の収束レートにどのような影響を及けるか？

主な発見

• 提案手法は、マルコフ連鎖採番下で、$O(1/T)$ の有限時間誤差バインディングを達成し、従来の最高の $O(1/\sqrt{T})$ の境界を上回る。
• ホモトピーに基づく学習率適応は、変化する最適化の局所的構造に動的に反応することで、推定誤差を効果的に低減する。
• データのマルコフ連鎖的性質を明示的にモデル化することで、非i.i.d.なオンポリシー採番下でも安定性と収束性を維持する。
• 理論的解析により、アルゴリズムが最適解に $O(1/T)$ のレートで収束することが確認され、集中型設定における最高の境界と一致する。
• 通信行列 $W$ が二重確率的でネットワークが連結であれば、ネットワークトポロジーの影響に強く、収束が安定する。