[論文レビュー] Primal-Dual Distributed Temporal Difference Learning

Donghwan Lee, Jianghai Hu|arXiv (Cornell University)|May 21, 2018

Distributed Control Multi-Agent Systems参考文献 47被引用数 7

ひとこと要約

本稿では、マルチエージェントのマルコフ決定過程に対して分散型のプリミティブ・デュアル時系列差分学習アルゴリズム（DGTD）を提案する。この手法により、エージェントはローカルな報酬とランダムなネットワーク通信のみを用いて、グローバルな価値関数を共同で推定可能である。本手法は、ラグランジュの鞍点定式化を用いた分布型最適化としてのポリシー評価問題の定式化により、確率的で時変する通信グラフの下でも有限時間収束を達成し、収束速度とサンプル複雑性が明確に保証される。

ABSTRACT

The goal of this paper is to study a distributed version of the gradient temporal-difference (GTD) learning algorithm for a class of multi-agent Markov decision processes (MDPs). The temporal-difference (TD) learning is a reinforcement learning (RL) algorithm that learns an infinite horizon discounted cost function (or value function) for a given fixed policy without the model knowledge. In the multi-agent MDP each agent receives a local reward through a local processing. The agents communicate over sparse and random networks to learn the global value function corresponding to the aggregate of local rewards. In this paper, the problem of estimating the global value function is converted into a constrained convex optimization problem. Then, we propose a stochastic primal-dual distributed algorithm to solve it and prove that the algorithm converges to a set of solutions of the optimization problem.

研究の動機と目的

• ローカルな報酬と部分的な通信のみを用いて複数のエージェントがグローバルな価値関数を推定できる分散型強化学習アルゴリズムの開発。
• 各エージェントが自身のローカルな報酬しか観測しないマルチエージェントシステムにおける情報制限の課題に対処すること。
• 単一エージェントのGTDP学習を、分散型でランダムな通信トポロジーを持つマルチエージェント設定に一般化すること。
• 提案された分散アルゴリズムに対して、収束保証（収束速度とサンプル複雑性を含む）を厳密に提供すること。
• 追加の制約や目的をサポートできる統一された鞍点フレームワークとしての分散型ポリシー評価を確立すること。

提案手法

• 共有パラメータに関する等式制約を伴う分布型最適化として、マルチエージェントのポリシー評価問題を定式化する。
• グラフラプラシアンを用いて一貫性制約を符号化することで、ラグランジュ双対定式化を用いて制約付き最適化を鞍点問題に変換する。
• 確率的で時変する通信グラフを用いた分散学習を可能にするために、確率的プライム・デュアルアルゴリズムを適用する。
• 確率的設定での収束を保証するため、ステップサイズルール $\alpha_k = 10 / \sqrt{k + 100}$ を用いる。
• 特徴表現（例：径路基底関数やテーブル型表現）を用いて、エージェント間でグローバルな価値関数を近似する。
• エージェントが隣接するエージェントとのみ学習パラメータを交換するランダムなネットワーク通信を統合し、システムのローカルなビューを維持する。

実験結果

リサーチクエスチョン

• RQ1 エージェントがローカルな報酬しか観測せず、ランダムで時変するネットワークを介して通信する場合、分散型TD学習アルゴリズムが正しいグローバルな価値関数に収束できるか。
• RQ2 このマルチエージェントでオフポリシーな設定下において、プライム・デュアル確率的アルゴリズムの収束速度とサンプル複雑性はどのように保証できるか。
• RQ3 提案されたプライム・デュアルフレームワークは、一貫性ベースの代替手法と比較して、分散型ポリシー評価における収束性と柔軟性においてどのように優れているか。
• RQ4 鞍点定式化は、スパarsityやエントロピー正則化といった追加の目的関数をマルチエージェント価値関数学習に統合できるか。
• RQ5 ランダムな通信グラフ構造は、分散型TD学習の安定性と収束性にどのような影響を及ぼすか。

主な発見

• 提案されたDGTDアルゴリズムは、ランダムで無向で時変する通信グラフの仮定の下で、グローバルな価値関数への有限時間収束を達成する。
• 収束速度とサンプル複雑性が厳密に分析され、マルチエージェントのオフポリシーTD学習分野における文献の空白を埋める。
• シミュレーションでは、5つのエージェントすべてが価値関数パラメータにおいて一貫性を示し、部分的なローカル報酬しか受け取らないにもかかわらず一貫した推定値に収束することが確認された。
• 3台のロボットが参加する連続空間シナリオでは、不完全なセンシングと途切れの生じる通信のもとでも、エージェントが共有の価値関数を効果的に推定し、3つの明確に分離された危険領域を特定した。
• エージェント間での価値関数推定値は一貫しており、乱流領域や敵の位置といった関心の高いポイントの共同検出を可能にした。
• 本手法は、行動方策が評価対象の目標方策と異なるオフポリシー設定を効果的に扱い、鞍点フレームワークにより柔軟な目的関数のサポートを可能にした。