[論文レビュー] Diff-DAC: Distributed Actor-Critic for Average Multitask Deep Reinforcement Learning

Sergio Valcárcel Macua, Aleksi Tukiainen+4 more|arXiv (Cornell University)|Oct 28, 2017

Reinforcement Learning in Robotics参考文献 43被引用数 30

ひとこと要約

Diff-DAC は、平均マルチタスク強化学習のための共有方策を学習するためにエージェント間で拡散型通信を用いる完全分散型の深層強化学習アルゴリズムである。双対性理論からアクター・クリティックを導出し、それを深層ニューラルネットワークで近似することにより、リプレイバッファやターゲットネットワークを必要としないにもかかわらず、Dist-MTLPS や集中型アクター・クリティックよりも優れた漸近的性能を達成する。

ABSTRACT

We propose a fully distributed actor-critic algorithm approximated by deep neural networks, named extit{Diff-DAC}, with application to single-task and to average multitask reinforcement learning (MRL). Each agent has access to data from its local task only, but it aims to learn a policy that performs well on average for the whole set of tasks. During the learning process, agents communicate their value-policy parameters to their neighbors, diffusing the information across the network, so that they converge to a common policy, with no need for a central node. The method is scalable, since the computational and communication costs per agent grow with its number of neighbors. We derive Diff-DAC's from duality theory and provide novel insights into the standard actor-critic framework, showing that it is actually an instance of the dual ascent method that approximates the solution of a linear program. Experiments suggest that Diff-DAC can outperform the single previous distributed MRL approach (i.e., Dist-MTLPS) and even the centralized architecture.

研究の動機と目的

• 地理的に分散したデータを有する大規模マルチタスク強化学習（MRL）におけるスケーラビリティと通信コストの問題に対処する。
• 中央パラメータサーバーを必要とせず、エージェントが共有方策を学習できる完全分散型アクター・クリティックフレームワークを開発する。
• 線形関数近似や逐次的更新に依存する、または高コストな特徴工学を要する先行の分散型MRL手法の制限を克服する。
• 双対性理論を用いたアクター・クリティックの原理的導出を提供し、方策勾配とアドバンテージ関数の統合に関する新たな理論的洞察をもたらす。
• 疎な接続性を持つ分散型学習が、集中学習よりも優れた一般化性と安定性をもたらすかを示す。

提案手法

• タスクパラメータの平均グローバル変数を用いて、平均マルチタスクRL問題を線形計画問題（LP）として定式化する。
• LPのラグランジュの鞍点問題を解くための双対昇下法としてアクター・クリティックアルゴリズムを導出し、理論的基盤を提供する。
• エージェントが隣接エージェントと非同期的かつ順序に依存しない方法で価値関数と方策パラメータを交換する拡散戦略を実装する。
• 深層ニューラルネットワークを用いて双対変数（価値関数と方策）を近似することで、非線形関数近似を可能にし、手動による特徴工学を排除する。
• 各エージェントが局所的経験と隣接エージェントの平均パラメータに基づいて、自身の方策と価値関数を分散更新するルールを用いる。
• 疎なネットワークトポロジーによる正則化効果を導入し、収束性と一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 完全分散型アクター・クリティックアルゴリズムは、マルチタスク設定において、集中型および先行の分散型MRL手法よりも優れた漸近的性能を達成できるか？
• RQ2 順序付きまたは集中型連携と比較して、拡散型通信戦略は安定性と収束性においてどのように異なるか？
• RQ3 疎な接続性を持つ分散アーキテクチャが、一般化性能の向上と悪い局所最適解の回避にどの程度寄与するか？
• RQ4 深層ニューラルネットワークは、双対性理論に基づく分散型双対昇下フレームワークに効果的に統合可能か？
• RQ5 本手法は、タスクパラメータに条件付けた方策ネットワークを用いることで、ゼロショットタスク適応に一般化可能か？

主な発見

• Diff-DAC は、単一タスクおよびマルチタスク環境において、最先端の分散型MRL手法である Dist-MTLPS を上回り、より高い漸近的リターンを達成する。
• カート・ポールバランスおよびインバーテッド・ペンダムのタスクにおいて、Diff-DAC は、収束が速いにもかかわらず、集中型アクター・クリティック（Cent-AC）よりも優れた最終的性能を達成する。
• Diff-DAC は優れた安定性を示し、リプレイバッファやターゲットネットワークを備えない集中型ベースラインと比較して、振動や発散を回避する。
• アルゴリズムはネットワークの疎らさに対して頑健である：約 N/6 の近隣を持つ疎なネットワークが、約 N/3 の密なネットワークと同等の性能を達成する。
• エージェント数を 25 から 100 に増加させることで、漸近的性能が向上する。これは、集団的経験の恩恵を受けるスケーラビリティを示している。
• 分散アーキテクチャは正則化効果を誘発し、集中学習よりも優れた局所最適解をもたらす。これは、疎な接続性が一般化性能を向上させることを示唆している。