[論文レビュー] Distributed Reinforcement Learning for Cooperative Multi-Robot Object Manipulation

Guohui Ding, Joewie J. Koh+6 more|arXiv (Cornell University)|Mar 21, 2020

Reinforcement Learning in Robotics参考文献 15被引用数 6

ひとこと要約

本論文は、協働的マルチロボットオブジェクト操作のための2つの分散型マルチエージェント強化学習手法—分散近似Q学習（DA-RL）とゲーム理論的Q学習（GT-RL）—を提案する。DA-RLはエージェントごとに個別の報酬関数を用いるのに対し、GT-RLは二重行列ゲームにおけるナッシュ均衡に基づいてQ値を更新する。2本のロボットアームを用いたシミュレーションで検証され、協働タスクにおけるスケーラビリティと有効性が示された。

ABSTRACT

We consider solving a cooperative multi-robot object manipulation task using reinforcement learning (RL). We propose two distributed multi-agent RL approaches: distributed approximate RL (DA-RL), where each agent applies Q-learning with individual reward functions; and game-theoretic RL (GT-RL), where the agents update their Q-values based on the Nash equilibrium of a bimatrix Q-value game. We validate the proposed approaches in the setting of cooperative object manipulation with two simulated robot arms. Although we focus on a small system of two agents in this paper, both DA-RL and GT-RL apply to general multi-agent systems, and are expected to scale well to large systems.

研究の動機と目的

• 複数のロボットを用いた協働的オブジェクト操作タスクにおける調整の課題に、強化学習を用いて対処すること。
• 中央集権的な調整なしに、より大きなマルチエージェントシステムへスケーリング可能な分散型学習手法を開発すること。
• 個別の報酬関数とゲーム理論的均衡概念が、マルチエージェント強化学習における協調性をどのように向上させるかを調査すること。
• 2本のロボットアームを用いたシミュレーテッド環境で、提案手法の妥当性を検証すること。
• 分散型強化学習アプローチが、協働的マルチロボット環境において安定的かつ効率的な学習を達成できることを示すこと。

提案手法

• 各ロボットが個別の報酬信号を用いて自らのQ値関数を学習する分散近似強化学習（DA-RL）を提案する。
• マルチエージェントQ値更新を二重行列ゲームとしてモデル化し、ナッシュ均衡を用いて方策更新を誘導するゲーム理論的強化学習（GT-RL）を導入する。
• DA-RLでは、操作タスクにおける連続的状態・行動空間を扱うために、関数近似を用いたQ学習を採用する。
• GT-RLでは、エージェント間の共同Q値行列のナッシュ均衡を計算するために、集中型のクリティックを用いる。
• 分散型方策実行を維持しつつ、エージェントごとに独立した探索戦略を適用する。
• 両手法を同一条件下で訓練および評価できる共有の環境シミュレータを実装する。

実験結果

リサーチクエスチョン

• RQ1 個別の報酬関数を用いた分散型マルチエージェント強化学習は、マルチロボットオブジェクト操作において効果的な協働を達成できるか？
• RQ2 ゲーム理論的均衡概念を組み込むことで、マルチエージェント強化学習における協調性と収束性が向上するか？
• RQ3 DA-RLとGT-RLは、協働的操縦タスクにおいて、学習の安定性と最終的パフォーマンスでどのように比較されるか？
• RQ4 これらの手法は、2体を超えるより大きなマルチエージェントシステムへスケーリング可能か？
• RQ5 報酬形状化と分散型学習の影響は、タスクの成功確率と収束速度にどのように現れるか？

主な発見

• DA-RLおよびGT-RLの両手法が、シミュレーション上での2本のロボットアームによる協働的オブジェクト操作の学習に成功した。
• GT-RLは、均衡に基づく価値更新のおかげで、DA-RLよりも高速な収束とより安定した学習を示した。
• 繰り返しの試行において、両手法が高水準のタスク成功率を達成しており、分散制御下でも学習の強靭性が裏付けられた。
• 提案手法は、局所的情報と分散型学習に依存しているため、より大きなマルチエージェントシステムへ一般化可能でスケーラブルである。
• GT-RLにおけるナッシュ均衡の使用により、より協調的な行動が実現され、衝突が減少し、共同方策の質が向上した。
• 結果から、ゲーム理論的根拠を持つ分散型強化学習は、中央集権的訓練と分散型実行の代替として実用的であることが確認された。