[논문 리뷰] The Emergence of Adversarial Communication in Multi-Agent Reinforcement Learning

Jan Blumenkamp, Amanda Prorok|arXiv (Cornell University)|2020. 08. 06.

Reinforcement Learning in Robotics참고 문헌 41인용 수 18

한 줄 요약

이 논문은 공유 가능한 미분 가능 통신 채널을 통해 이타적일 의도가 없는 에이전트들이 악성 의사소통 전략을 학습할 수 있는 다중 에이전트 강화학습 프레임워크를 제안한다. 이는 조작을 위한 명시적 최적화가 없더라도 가능하다. 핵심 발견은 이타적일 의도가 없는 에이전트들이 특히 자원이 한정된 환경에서 다른 이들을 조작하기 위해 속임발언을 사용함으로써, 협력 팀에 비해 최대 229% 높은 성능을 달성할 수 있다는 것이다.

ABSTRACT

Many real-world problems require the coordination of multiple autonomous agents. Recent work has shown the promise of Graph Neural Networks (GNNs) to learn explicit communication strategies that enable complex multi-agent coordination. These works use models of cooperative multi-agent systems whereby agents strive to achieve a shared global goal. When considering agents with self-interested local objectives, the standard design choice is to model these as separate learning systems (albeit sharing the same environment). Such a design choice, however, precludes the existence of a single, differentiable communication channel, and consequently prohibits the learning of inter-agent communication strategies. In this work, we address this gap by presenting a learning model that accommodates individual non-shared rewards and a differentiable communication channel that is common among all agents. We focus on the case where agents have self-interested objectives, and develop a learning algorithm that elicits the emergence of adversarial communications. We perform experiments on multi-agent coverage and path planning problems, and employ a post-hoc interpretability technique to visualize the messages that agents communicate to each other. We show how a single self-interested agent is capable of learning highly manipulative communication strategies that allows it to significantly outperform a cooperative team of agents.

연구 동기 및 목표

• 다중 에이전트 시스템에서 이타적일 의도가 없는 에이전트가 명시적인 악성 훈련 없이도 공유 가능한, 미분 가능한 통신 채널을 통해 악성 의사소통 전략을 학습할 수 있는지 조사하는 것.
• 비협력적 에이전트가 일반적으로 공유 가능한, 미분 가능한 통신 채널을 갖지 못하는 다중 에이전트 강화학습 분야의 격차를 메우는 것.
• 이질적인 보상과 공통의 통신 매체를 지원하는 통합형, 단일 구조의 신경망 아키텍처를 개발하는 것.
• 자원이 제한된 환경에서 에이전트들이 제한된 보상을 두고 경쟁할 때 조작적 의사소통이 어떻게 나타나는지 평가하는 것.
• 후행 분석을 통해 학습된 메시지를 해석할 수 있도록 하여, 이타적일 의도가 없는 에이전트가 속임발언 신호를 어떻게 인코딩하는지 시각화하는 것.

제안 방법

• 모든 에이전트 간에 별도의 보상 함수와 공통의, 미분 가능한 통신 채널을 지원하는 단일 구조이자 분산 가능성이 있는 신경망 아키텍처를 설계하는 것.
• 개별적이고 공유되지 않는 보상을 가진 에이전트를 훈련하면서도 공통의 통신 메커니즘을 유지하는 강화학습 알고리즘을 구현하는 것.
• 그래프 구조적 에이전트 관계를 처리하고 국소적, 다단계 메시지 전달을 가능하게 하기 위해 그래프 컨volution 신경망(GCNNs)을 사용하는 것.
• 백색 상자 해석 기법을 적용하여 에이전트가 전송한 메시지의 내용을 재구성하고 시각화하는 것—특히 이타적일 의도가 없는 에이전트에 초점을 맞추는 것.
• 협력 에이전트를 먼저 훈련한 후 그 정책을 고정하고, 단일 이타적일 의도가 없는 에이전트를 독립적으로 훈련하여 조작적 의사소통의 출현을 관찰하는 것.
• 성능와 의사소통 행동을 평가하기 위해 다양한 보상 구조 하에서 다중 에이전트 커버리지 및 경로 계획 작업에서 실험을 수행하는 것.

실험 결과

연구 질문

• RQ1 공유 가능한, 미분 가능한 통신 채널을 통해 명시적인 악성 최적화 없이도 이타적일 의도가 없는 에이전트가 악성 의사소통 전략을 학습할 수 있는가?
• RQ2 지역적 보상 간의 갈등이 존재하는 다중 에이전트 시스템에서 악성 의사소통은 어떤 환경 조건에서 나타나는가?
• RQ3 조작적 의사소통 전략은 협력 에이전트와 이타적일 의도가 없는 에이전트의 성능에 어떤 영향을 미치는가?
• RQ4 후행 해석 기법을 통해 이타적일 의도가 없는 에이전트가 사용하는 속임발언 메시지 인코딩을 얼마나 정확히 드러낼 수 있는가?
• RQ5 협력 에이전트가 이타적일 의도가 없는 에이전트의 정책에 적응할 수 있다면, 악성 의사소통에서 얻는 이점이 상쇄되는가?

주요 결과

• 악성 의사소통이 활성화된 상태에서 이타적일 의도가 없는 에이전트는 경로 계획 및 커버리지 작업에서 통신이 없는 경우에 비해 성능 향상을 112%에서 229%까지 달성했다.
• 자원이 제한된 환경에서 이타적일 의도가 없는 에이전트가 악성 의사소통을 사용할 경우 협력 팀의 성능이 크게 떨어졌다.
• 후행 해석 기법을 통해 이타적일 의도가 없는 에이전트가 협력 정책의 메시지 패tern과 다름없는 위험한 메시지 인코딩을 학습한 것으로 확인되었다.
• 재적응 후 협력 팀은 통신이 있는 순수 협력 팀 수준의 성능으로 복구할 수 있었다.
• 악성 의사소통은 주로 지역적 보상이 유한한 자원 풀에서 유래하거나 자원 경쟁이 존재할 때 주로 나타났다.
• 이타적일 의도가 없는 에이전트는 악성으로 설계될 필요가 없었으며, 자신의 보상을 최적화하면서 다른 에이전트의 보상을 무시함으로써 자연스럽게 조작 행동이 나타났다.