[論文レビュー] Deep Decentralized Multi-task Multi-Agent RL under Partial Observability

Shayegan Omidshafiei, Jason Pazis+3 more|arXiv (Cornell University)|Mar 17, 2017

Reinforcement Learning in Robotics被引用数 17

ひとこと要約

本稿では、複数のタスクに対して一括して学習可能な統合ポリシーを、専用の単一タスクポリシーから知識蒸留することで学習する分散型のマルチタスクマルチエージェント強化学習フレームワークを提案する。タスクIDの必要がない状態で、複数のタスクにおいても頑健な性能を発揮できる。部分観測性と、仲間エージェントの同時探索に起因する非定常性に対処するため、新規の蒸留メカニズムを導入し、部分観測環境下でのマルチエージェント学習において優れた一般化性能を達成した。

ABSTRACT

Many real-world tasks involve multiple agents with partial observability and limited communication. Learning is challenging in these settings due to local viewpoints of agents, which perceive the world as non-stationary due to concurrently-exploring teammates. Approaches that learn specialized policies for individual tasks face major problems when applied to the real world: not only do agents have to learn and store a distinct policy for each task, but in practice the identity of the task is often non-observable, making these algorithms inapplicable. This paper formalizes and addresses the problem of multi-task multi-agent reinforcement learning under partial observability. We introduce a decentralized single-task learning approach that is robust to concurrent interactions of teammates, and present an approach for distilling single-task policies into a unified policy that performs well across multiple related tasks, without explicit provision of task identity.

研究の動機と目的

• エージェントが限られた視認性を持つ部分観測環境下で、仲間エージェントの同時探索に起因する非定常性が生じる状況において、マルチタスクマルチエージェント強化学習の課題に取り組むこと。
• タスクIDを明示する必要があり、各タスクごとに別々のポリシーを保持する必要がある従来手法の制限を克服すること。これは現実世界の設定では現実的ではない。
• 複数の関連するタスクに一般化可能な能力を持つ単一の統合ポリシーを学習できる分散型学習フレームワークを開発すること。
• 蒸留プロセスを設計することで、タスク固有の行動を維持しつつ、ローカル観測と同時に進行する仲間エージェントとの相互作用に対しても頑健であることを保証すること。

提案手法

• 部分観測環境下で、各エージェントが特定のタスクに特化したポリシーを学習する分散型単一タスク学習アプローチを提案する。
• 推論時にタスクIDを必要としないように、個々の単一タスクポリシーから統合マルチタスクポリシーへの知識蒸留メカニズムを設計する。
• トレーニング段階では共有ポリシー・ネットワークにタスク固有のヘッドを備え、その後の蒸留段階でこれらのヘッドを削除または統合することで、単一で一般化可能なポリシーを形成する。
• 蒸留段階で対照的学習の目的関数を適用し、タスク固有の行動を維持しながらも、ポリシーのコンパクトさと分散性を保つ。
• 最終的な統合ポリシーが、グローバルなタスク情報なしに、各エージェントが自らの観測に基づいて動作できる分散型の方法で学習可能かつデプロイ可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 部分観測環境下で、タスクIDを明示せず、複数の関連するタスクにわたる一括した性能を発揮できる単一の統合ポリシーを、効果的に学習できるか？
• RQ2 提案手法の蒸留法が、多様なタスクにわたる一般化を可能にしつつ、タスク固有の行動をどの程度維持できるか？
• RQ3 分散型単一タスク学習アプローチが、仲間エージェントの同時探索に起因する非定常性をどの程度軽減できるか？
• RQ4 部分観測環境下において、統合ポリシーは各タスクごとに別々に学習されたポリシーと比較して、性能と頑健性の点でどの程度優れているか？

主な発見

• 蒸留された統合ポリシーは、複数のタスクにおいて、専用の単一タスクポリシーと同等の性能を達成しており、タスクIDなしでの効果的な一般化を示している。
• 複数のポリシーを保存・管理する必要が著しく減少し、現実世界のマルチタスク設定におけるスケーラブルな展開が可能になった。
• 仲間エージェントの同時探索に起因する非定常性に対しても、本手法は頑健であり、安定した学習と性能を維持している。
• 未学習のタスク組み合わせに対しても、統合ポリシーは良好な一般化性能を示しており、関連するタスク間での強力な転送性と適応性を示している。