[論文レビュー] Multi-agent Deep Reinforcement Learning with Extremely Noisy Observations

Ozsel Kilinc, Giovanni Montana|arXiv (Cornell University)|Dec 3, 2018

Reinforcement Learning in Robotics参考文献 21被引用数 21

ひとこと要約

本稿では、極度にノイジーで部分的な観測下において、最適な方策と通信戦略を同時に学習するマルチエージェント深層強化学習アルゴリズム、MADDPG-Mを提案する。内部的に生成された報酬と階層的方策学習を統合した二段階の学習メカニズムにより、エージェントは情報を含む観測を的確に共有できるようになり、非定常的で複雑な環境において、オラクルベースラインと同等の性能を達成した。最も困難なシナリオでは通信精度が88.82%に達した。

ABSTRACT

Multi-agent reinforcement learning systems aim to provide interacting agents with the ability to collaboratively learn and adapt to the behaviour of other agents. In many real-world applications, the agents can only acquire a partial view of the world. Here we consider a setting whereby most agents' observations are also extremely noisy, hence only weakly correlated to the true state of the environment. Under these circumstances, learning an optimal policy becomes particularly challenging, even in the unrealistic case that an agent's policy can be made conditional upon all other agents' observations. To overcome these difficulties, we propose a multi-agent deep deterministic policy gradient algorithm enhanced by a communication medium (MADDPG-M), which implements a two-level, concurrent learning mechanism. An agent's policy depends on its own private observations as well as those explicitly shared by others through a communication medium. At any given point in time, an agent must decide whether its private observations are sufficiently informative to be shared with others. However, our environments provide no explicit feedback informing an agent whether a communication action is beneficial, rather the communication policies must also be learned through experience concurrently to the main policies. Our experimental results demonstrate that the algorithm performs well in six highly non-stationary environments of progressively higher complexity, and offers substantial performance gains compared to the baselines.

研究の動機と目的

• エージェントが環境の弱く相関の薄い部分的視認しか得られない極度にノイジーな観測下におけるマルチエージェント強化学習の課題に対処すること。
• 明示的なフィードバックがなく、報酬信号のみに依存して、エージェントがいつ何を通信すべきかを学習できること。
• 非定常的かつ部分的に観測可能な状況下で、行動方策と通信戦略を同時に最適化する学習フレームワークの構築。
• 独立学習やベースライン手法が高ノイズと高複雑性の下で失敗するという限界を克服すること。
• ノイジーで協働的なマルチエージェントシステムにおいて、学習された通信による知的な情報フィルタリングがタスク成功に不可欠であることを示すこと。

提案手法

• MADDPGフレームワークに通信媒体を拡張し、エージェントが観測を共有できるようにし、私的および共有情報に基づく連携的方策学習を可能にする。
• 二重方策アーキテクチャを採用：一つは行動（μ）を制御する方策、もう一つは通信意思決定（ν）を制御する方策で、両者を深層決定的方策勾配法を用いて同時に学習する。
• 通信方策学習を導くために、内部的に生成された報酬を用いる。これにより、共有された観測が将来の成果を改善するかどうかのフィードバックが得られる。
• 行動と通信意思決定の間の階層的依存関係に対応するため、学習プロセスの異なるレベルに時間抽象化を適用する。
• 通信方策はノイジーな観測をフィルタリングし、集団的パフォーマンス向上に寄与する可能性の高い情報のみを共有するよう学習する。
• 集中学習・分散実行（CTDE）パラダイムを採用しており、訓練中は全エージェントの観測に完全にアクセス可能だが、テスト時には分散性を維持する。

実験結果

リサーチクエスチョン

• RQ1 明示的な通信品質フィードバックが与えられない状況下で、極度にノイジーで部分的な観測を持つ環境において、マルチエージェント強化学習が成功するか？
• RQ2 行動方策と通信戦略を同時に学習することで、独立学習や固定通信ベースラインと比較してパフォーマンスがどの程度向上するか？
• RQ3 高いノイズと非定常性下で、エージェントが観測をフィルタリングし、選択的に共有することで、集団的タスクパフォーマンスをどの程度向上できるか？
• RQ4 通信精度がタスク成功に与える影響は何か？また、教師なしで、ほぼ最適な通信行動を達成できるか？
• RQ5 環境の複雑さ（例：動的 vs. 固定、ブロードキャスト vs. ユニキャスト）は、効果的な通信方策の学習にどのような影響を与えるか？

主な発見

• MADDPG-Mは、6つのすべての環境でオラクルDDPG-OCベースラインと同等のパフォーマンスを達成した。特に動的でユニキャスト通信が可能な状況でも同様の性能を示した。
• 最も困難なブロードキャストシナリオでは、MADDPG-Mが最適な通信行動を88.82%の確率で選択し、タスクの達成に十分な水準に達した。
• 動的ユニキャストシナリオでは、全体の最適通信パターンを特定する精度が28.98%にとどまったが、個々の通信行動の精度が64.23%に達したため、エージェントは依然としてタスクを成功させた。
• IQL や Meta-agent といったベースライン手法は、ノイジーな観測による報酬信号の劣化により、複雑または動的な環境で合理的な行動を学習できなかった。
• アルゴリズムは環境の複雑さの増加に対しても頑健であり、ベースラインが崩壊するのに対し、特に衝突や協調要件が高いユニキャスト設定においてもパフォーマンスが安定した。
• 内部的に生成された報酬の使用により、通信方策が完全に最適化される前から環境のダイナミクスを早期に学習でき、行動学習と通信学習の間で正のフィードバックループが形成された。