[論文レビュー] Multiagent Model-based Credit Assignment for Continuous Control

Dongge Han, Chris Xiaoxuan Lu+2 more|arXiv (Cornell University)|Dec 27, 2021

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、ロボット工学における連続的制御のための分散型マルチエージェント強化学習フレームワークを提案する。中央集権的訓練と分散型実行を組み合わせ、全エージェントの報酬を公平に割り当てるために、半値を用いたモデルベースのゲーム理論的責任割り当てを導入している。本手法は、学習済みの環境ダイナミクスを用いてコалиション価値を推定することで、報酬の割り当ての精度を高め、MuJoCoの歩行タスクにおいて顕著な高いサンプル効率と頑健な性能を達成している。

ABSTRACT

Deep reinforcement learning (RL) has recently shown great promise in robotic continuous control tasks. Nevertheless, prior research in this vein center around the centralized learning setting that largely relies on the communication availability among all the components of a robot. However, agents in the real world often operate in a decentralised fashion without communication due to latency requirements, limited power budgets and safety concerns. By formulating robotic components as a system of decentralised agents, this work presents a decentralised multiagent reinforcement learning framework for continuous control. To this end, we first develop a cooperative multiagent PPO framework that allows for centralized optimisation during training and decentralised operation during execution. However, the system only receives a global reward signal which is not attributed towards each agent. To address this challenge, we further propose a generic game-theoretic credit assignment framework which computes agent-specific reward signals. Last but not least, we also incorporate a model-based RL module into our credit assignment framework, which leads to significant improvement in sample efficiency. We demonstrate the effectiveness of our framework on experimental results on Mujoco locomotion control tasks. For a demo video please visit: https://youtu.be/gFyVPm4svEY.

研究の動機と目的

• グローバル報酬しか入手できない分散型マルチエージェント強化学習における責任割り当ての課題に対処すること。
• 連続的アクション空間における一般的な責任割り当て手法（Shapley値やBanzhaf値など）を一般化する、半値を用いた汎用的なゲーム理論的フレームワークを構築すること。
• 責任割り当てプロセスにモデルベース強化学習を統合し、コアリション価値推定の正確性を向上させること。
• 中央集権的訓練と分散型実行を組み合わせることで、マルチエージェント連続的制御におけるサンプル効率と頑健な学習を可能にすること。
• 標準的なMuJoCo歩行ベンチマークにおいて、本フレームワークの有効性を実証すること。

提案手法

• 中央集権的訓練と分散型実行（CTDE）を特徴とする協調的マルチエージェント設定に、Proximal Policy Optimization（PPO）を拡張する。
• 協力ゲーム理論における解概念の一般族である半値に基づくゲーム理論的責任割り当てフレームワークを導入し、グローバルリターンからエージェント固有の報酬信号を計算する。
• 短時間スパンのダイナミクスを予測するモデルベースRLモジュールを採用し、コアリション価値を効率的に推定することで、実環境のロールアウトに依存するのを減らす。
• ニューラルネットワークの順伝播を用いて、モデルベースフレームワーク下でのコアリション価値を計算し、スケーラブルな責任割り当て計算を実現する。
• 実行段階で、推定されたエージェント固有の報酬を分散型で個々のポリシーの学習に適用する。
• モデルを用いて軌道をシミュレートし、特に長時間スパンの責任割り当てにおいて価値推定を向上させる。

実験結果

リサーチクエスチョン

• RQ1 グローバル報酬信号しか入手できないマルチエージェント連続的制御に、半値に基づく汎用的なゲーム理論的責任割り当てフレームワークを効果的に適用できるか？
• RQ2 モデルベースのダイナミクス予測を組み込むことで、責任割り当てにおけるコアリション価値推定の正確性と効率性がどのように向上するか？
• RQ3 提案されたモデルベース責任割り当てフレームワークは、マルチエージェント連続的制御におけるサンプル効率と学習安定性をどの程度向上させるか？
• RQ4 歩行タスクにおける性能と頑健性の観点から、従来の責任割り当て手法と比較して、本フレームワークはどのように差をつけるか？
• RQ5 分散型実行を伴う複雑なMuJoCo連続的制御環境に対しても、本フレームワークは効果的に適用可能か？

主な発見

• 提案されたモデルベース責任割り当てフレームワークは、マルチエージェント連続的制御におけるサンプル効率を顕著に向上させ、収束に必要な環境インタラクション回数を削減した。
• 半値の使用により、連続的アクション空間における既存手法（Shapley値など）を一般化し、柔軟で原理的根拠のある責任割り当てメカニズムを実現した。
• モデルベースのダイナミクス推定を組み込むことで、より正確なコアリション価値予測が可能となり、結果として個々のエージェントの責任割り当ての質が向上した。
• 本フレームワークはMuJoCo歩行タスクにおいて優れた性能を示し、分散型実行下でも頑健で安定した学習を実現した。
• モデルベース部品により、実環境のロールアウトを最小限に抑えながらも学習性能を維持し、責任割り当ての計算コストを削減した。
• 特に高次元連続的制御設定において、最終的なリターンと学習安定性の観点で、ベースライン手法を上回る性能を発揮した。