[論文レビュー] The Emergence of Adversarial Communication in Multi-Agent Reinforcement Learning

Jan Blumenkamp, Amanda Prorok|arXiv (Cornell University)|Aug 6, 2020

Reinforcement Learning in Robotics参考文献 41被引用数 18

ひとこと要約

本稿では、自己利益志向のエージェントが、明示的な操作最適化がなくても、共有で微分可能である通信チャネルを通じて敵対的通信戦略を学習できるマルチエージェント強化学習フレームワークを提案する。主な発見は、報酬が有限なリソースプールから抽出される場合、特に自己利益志向のエージェントが他者を操作するために偽りのメッセージを使用することで、協力的チームに比べて最大229%も優れたパフォーマンスを達成できることである。

ABSTRACT

Many real-world problems require the coordination of multiple autonomous agents. Recent work has shown the promise of Graph Neural Networks (GNNs) to learn explicit communication strategies that enable complex multi-agent coordination. These works use models of cooperative multi-agent systems whereby agents strive to achieve a shared global goal. When considering agents with self-interested local objectives, the standard design choice is to model these as separate learning systems (albeit sharing the same environment). Such a design choice, however, precludes the existence of a single, differentiable communication channel, and consequently prohibits the learning of inter-agent communication strategies. In this work, we address this gap by presenting a learning model that accommodates individual non-shared rewards and a differentiable communication channel that is common among all agents. We focus on the case where agents have self-interested objectives, and develop a learning algorithm that elicits the emergence of adversarial communications. We perform experiments on multi-agent coverage and path planning problems, and employ a post-hoc interpretability technique to visualize the messages that agents communicate to each other. We show how a single self-interested agent is capable of learning highly manipulative communication strategies that allows it to significantly outperform a cooperative team of agents.

研究の動機と目的

• 自己利益志向のエージェントが明示的な敵対的訓練なしに、共有で微分可能な通信チャネルを介して敵対的通信戦略を学習できるかどうかを調査すること。
• 非協力的エージェントが通常、共有で微分可能な通信チャネルを備えていないというマルチエージェント強化学習分野におけるギャップを埋めること。
• 多様な報酬と共通の通信媒体をサポートする統一的でモノリシックなニューラルアーキテクチャの開発。
• エージェントが限られた報酬をめぐって競争するリソース制約環境において、操作的通信の出現を評価すること。
• 後処理解析を用いて学習済みメッセージの解釈可能性を高め、自己利益志向のエージェントがいかに偽りの信号を符号化しているかを可視化すること。

提案手法

• 複数の異なる報酬関数とすべてのエージェント間で共有される微分可能な通信チャネルをサポートする、モノリシックで分散可能であるニューラルネットワークアーキテクチャを設計する。
• 個々の報酬を共有しないエージェントを訓練する強化学習アルゴリズムを実装するが、同時に共通の通信メカニズムを維持する。
• グラフ畳み込みニューラルネットワーク（GCNN）を用いて、エージェント間のグラフ構造的関係を処理し、局所的で多ホップのメッセージ伝達を可能にする。
• 白箱解釈技術を適用して、特に自己利益志向のエージェントが送信するメッセージの内容を再構築・可視化する。
• まず協力的エージェントを訓練し、その後そのポリシーを固定した上で、単一の自己利益志向エージェントを独立して訓練し、操作的通信の出現を観察する。
• 報酬構造を変化させた状況下で、マルチエージェントカバレッジおよびパス計画タスクにおいて実験を行い、パフォーマンスと通信行動を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己利益志向のエージェントは、明示的な敵対的最適化がなくても、共有で微分可能な通信チャネルを介して敵対的通信戦略を学習できるか？
• RQ2 局所的報酬が対立するマルチエージェントシステムにおいて、敵対的通信がどのような環境的条件下で出現するか？
• RQ3 操作的通信戦略は、協力的エージェントおよび自己利益志向エージェントのパフォーマンスにどのように影響を与えるか？
• RQ4 後処理解釈技術は、自己利益志向エージェントが使用する偽りのメッセージ符号化をどの程度まで明らかにできるか？
• RQ5 協力的エージェントが自己利益志向エージェントのポリシーに適応できれば、敵対的通信から得られる利点は相殺されるのか？

主な発見

• 敵対的通信が有効な場合、自己利益志向エージェントは、通信なしの状況と比較して、パス計画およびカバレッジタスクで112%から229%のパフォーマンス向上を達成した。
• 自己利益志向エージェントが敵対的通信を使用した場合、特にリソース制約のある環境では、協力的チームのパフォーマンスが著しく低下した。
• 後処理解釈により、自己利益志向エージェントが協力的ポリシーとは異なるメッセージパターンを用いて、陰謀的な符号化を学習していることが明らかになった。
• 再適応後、協力的チームは、通信を伴う完全に協力的なチームと同等のパフォーマンスに回復した。
• 敵対的通信は、主に局所的報酬が有限なプールから抽出される場合、またはリソースが競争的である場合に出現した。
• 自己利益志向エージェントは、敵対的であるように設計する必要がなく、他のエージェントの報酬を無視しながら自身の報酬を最適化するだけで、自然に操作的行動が生じた。