[論文レビュー] Asynchronous Actor-Critic for Multi-Agent Reinforcement Learning

Yuchen Xiao, Weihao Tan+1 more|arXiv (Cornell University)|Sep 20, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本論文は、時間的に拡張された（マクロ）アクションを用いて学習・実行できる非同期アクタ・クリティック手法を、マルチエージェント強化学習に提案し、同期的ポリシー勾配法の制限を克服する。分散型、統合型、CTDE（中央集権的学習・分散型実行）のパラダイムに対応するMac-IAC、Mac-CAC、Mac-IAICCを導入し、ウェアハウスタスクにおけるシミュレーションおよび実ロボットデプロイで優れた性能を示した。

ABSTRACT

Synchronizing decisions across multiple agents in realistic settings is problematic since it requires agents to wait for other agents to terminate and communicate about termination reliably. Ideally, agents should learn and execute asynchronously instead. Such asynchronous methods also allow temporally extended actions that can take different amounts of time based on the situation and action executed. Unfortunately, current policy gradient methods are not applicable in asynchronous settings, as they assume that agents synchronously reason about action selection at every time step. To allow asynchronous learning and decision-making, we formulate a set of asynchronous multi-agent actor-critic methods that allow agents to directly optimize asynchronous policies in three standard training paradigms: decentralized learning, centralized learning, and centralized training for decentralized execution. Empirical results (in simulation and hardware) in a variety of realistic domains demonstrate the superiority of our approaches in large multi-agent problems and validate the effectiveness of our algorithms for learning high-quality and asynchronous solutions.

研究の動機と目的

• アクションの実行時間が異なるエージェントを含む大規模マルチエージェントシステムにおいて、意思決定の同期化の課題に対処すること。
• 現実世界のロボティクス（例：ナビゲーション、マニピュレーション）で一般的なマクロアクションを用いて、非同期ポリシーの効果的学習と実行を可能にすること。
• 各タイムステップでプリミティブアクションの同期実行を仮定する従来のポリシー勾配法の制限を克服すること。
• 分散型、統合型、CTDEの学習パラダイムにわたるマクロアクションベースのマルチエージェントアクタ・クリティック学習の一般化されたフレームワークを形式化すること。
• 提案手法の有効性を、シミュレーションおよび実世界のハードウェアデプロイにおいて、特に複雑で時間的に拡張されたタスクにおいて実証すること。

提案手法

• 各エージェントが自らのポリシーを独立して学習する完全に分散型のマクロアクションベース独立型アクタ・クリティック（Mac-IAC）手法を提案する。
• トレーニング時に全状態情報を使用する統合型アクタ・クリティック（Mac-CAC）手法を導入し、個々のポリシーを最適化する。
• 個々のエージェントごとに集中情報に基づく別個のクリティックを学習する、新しい独立型アクタと個別集中型クリティック（Mac-IAICC）手法を開発し、非同期実行における連携的・個別的視点の不一致を解消する。
• Mac-IAICCのCTDE（中央集権的学習・分散型実行）バージョンを形式化し、集中型価値推定によってより良いポリシー学習を実現する。
• ナイーブなアプローチとして共同マクロアクション価値関数をクリティックとして使用する（Naive IACC）、後に個別クリティックに改善して非同期実行ダイナミクスをよりよく反映する。
• 変動するアクション期間を持つ協調的マルチエージェントタスクをモデル化するため、マクロアクション分散部分的観測マルコフ意思決定過程（MacDec-POMDP）フレームワークを活用する。

実験結果

リサーチクエスチョン

• RQ1 マクロアクションベースのアクタ・クリティック手法は、アクション期間が変動する協調的マルチエージェント環境において、非同期ポリシーを効果的に学習できるか？
• RQ2 マクロアクション実行の非定常性と非同期性を処理する際、個別集中型クリティック（Mac-IAICC）は共同クリティック（Naive IACC）と比較してどのように優れているか？
• RQ3 提案手法は、大規模で時間的に拡張されたマルチエージェントタスクにおいて、プリミティブアクションベースの手法をどの程度上回るか？
• RQ4 学習された分散型ポリシーは、特に複雑なロボットタスクにおいて、実世界のハードウェアデプロイに一般化可能か？
• RQ5 個別クリティックを用いたCTDEパラダイム（Mac-IAICC）は、独立学習やナイーブな集中型トレーニングと比較して、分散型ポリシー性能をどのように向上させるか？

主な発見

• Mac-IAICC手法は、非同期マルチエージェントタスクにおける高品質な分散型ポリシー学習において、Naive IACCおよびMac-IACを顕著に上回った。
• 提案手法は、ボックスプッシュ、Overcookedの変種、大規模なウェアハウスサービスドメインを含むシミュレーション環境において、時間的に拡張されたアクションを有効に学習・実行できた。
• 実ロボットにおけるMac-IAICCポリシーのデプロイは、ウェアハウスツール配達タスクで効率的かつ信頼性の高いタスク完了を達成し、実世界応用可能性を実証した。
• プリミティブアクションベースの手法は、同じ非同期環境では効果的なポリシーを学習できず、マクロアクションモデリングの必要性を浮き彫りにした。
• 特に長時間のホライズンでアクション期間が変動する状況において、Mac-IAICC手法はベースラインと比較して優れたサンプル効率と最終タスクパフォーマンスを達成した。
• Mac-IAICCにおける個別集中型クリティックの使用は、非同期な共同アクション実行に起因する分布シフトを効果的に緩和し、ポリシー学習の安定性とパフォーマンスを向上させた。