[논문 리뷰] Low-Bandwidth Communication Emerges Naturally in Multi-Agent Learning Systems

Niko A. Grupen, Daniel D. Lee외 1명|arXiv (Cornell University)|2020. 11. 30.

Evolutionary Game Theory and Cooperation참고 문헌 38인용 수 4

한 줄 요약

이 논문은 다중 에이전트 강화학습(MARL) 시스템에서 협동적 추격-탈출 과제를 수행할 때, 음성 신호나 고대역폭 신호 전달 방식이 아닌, 이동 규칙을 통한 암묵적 협력 방식과 같은 저대역폭 통신 방식이 자연스럽게 발생함을 보여준다. 잠재력장 기반의 포식자 전략과 MARL 알고리즘을 사용하여, 저복잡도의 효율적인 협동 전략이 동물의 사냥 행동과 유사하게 발현됨을 입증한다. 명시적 언어나 고대역폭 신호 전달 없이도 성공적으로 작동한다.

ABSTRACT

In this work, we study emergent communication through the lens of cooperative multi-agent behavior in nature. Using insights from animal communication, we propose a spectrum from low-bandwidth (e.g. pheromone trails) to high-bandwidth (e.g. compositional language) communication that is based on the cognitive, perceptual, and behavioral capabilities of social agents. Through a series of experiments with pursuit-evasion games, we identify multi-agent reinforcement learning algorithms as a computational model for the low-bandwidth end of the communication spectrum.

연구 동기 및 목표

• 저대역폭 통신이 동물의 의사소통 방식에서 유래한 통찰을 통해 다중 에이전트 시스템에서 어떻게 발생하는지 이해하기 위해
• 다중 에이전트 강화학습(MARL) 알고리즘이 잠재적이고 저복잡도의 통신 전략을 어떻게 유도하는지 조사하기 위해
• 자연계의 통신 스펙트럼—예를 들어, 페로몬 흔적에서부터 음성 신호에 이르기까지—을 계산적 강화학습 프레임워크 안에서 모델링하기 위해
• MARL 에이전트가 늑대 무리나 돌고래 무리에서 관찰된 바와 같은 자연계의 저대역폭 상호작용 규칙을 유사하게 발현하는지 평가하기 위해
• 명시적 언어나 기호 표현 없이도 고수준의 협동이 감각운동 피드백과 보상 최적화에 기반해 어떻게 발생할 수 있는지 보여주기 위해

제안 방법

• 저자들은 다수의 포식자와 한 마리의 피의자가 있는 토로이드 격자 환경에서 추격-탈출 게임을 수행한다.
• 포식자는 피의자와 포식자 위치를 기반으로 최적의 추격 방향을 계산하기 위해 잠재력장 기반 전략을 사용하며, 거리와 각도 정렬을 포함한 비용 함수를 활용한다.
• 주기적 경계 조건을 처리하기 위해 토러스의 편향된 복제를 통한 잠재력장 함수 최적화를 수행하며, 포식자 구성의 가능한 조합에 대한 이산적 탐색이 가능해진다.
• 잠재력장 함수를 최대화하는 '활성' 포식자 집합을 선택하여 동적인 대칭 추격 형성 구조를 형성한다.
• MARL 에이전트는 정책 기반 강화학습을 통해 협동을 학습하며, 피의자를 최소한의 시간 내에 잡는 것을 목표로 한다.
• 이 방법은 잠재력장의 음의 기울기를 기반으로 한 기울기 기반 업데이트 규칙을 포함하여, 포식자 머리 방향을 조정함으로써 대칭적이고 안정적인 형성 구조를 선호한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 강화학습 시스템이 명시적인 설계 없이도 저대역폭 통신 전략을 자연스럽게 개발할 수 있는가?
• RQ2 MARL 에이전트가 늑대나 돌고래에서 관찰된 바와 같은 알려진 동물의 사냥 및 무리 행동을 어느 정도 재현하는가?
• RQ3 제한된 감지 능력, 이산적 행동 공간 등의 물리적 및 환경적 제약 조건이 협동 에이전트에서의 통신 형성에 어떻게 영향을 미치는가?
• RQ4 MARL 시스템에서 기호적 또는 조합적 언어가 없더라도 효과적인 협동 행동이 여전히 가능할 수 있는가?
• RQ5 부분 관측 환경에서 보상 최적화에 기반해 암묵적이고 비언어적 협동 메커니즘(예: 상호작용 규칙)이 유도될 수 있는가?

주요 결과

• 추격-탈출 과제 수행 중 MARL 시스템에서 대칭 추격 형성과 반응적인 위치 조정과 같은 저대역폭 통신 전략이 자연스럽게 발생한다.
• 포식자들은 그룹의 유대감을 유지하고 분열을 방지하기 위해 움직임을 조율하며, 일시적으로 피의자에서 떨어져 재배치하기 위해 움직일 때조차도 이를 유지한다.
• 잠재력장 기반 전략은 실제 늑대나 돌고래 무리에서 관찰된 바와 유사한 안정적이고 대칭적인 형성 구조를 성공적으로 생성한다.
• 학습된 행동은 공동 둘레 감싸기 및 동적 재배치를 포함한 기록된 동물의 사냥 전략과 정성적으로 유사성을 보인다.
• 명시적 언어나 기호적 의사소통이 없더라도, 감각운동 피드백과 보상 최적화에 기반한 암묵적 저대역폭 상호작용 규칙을 통해 효과적인 협동이 가능하며, 높은 포획 비율을 달성한다.
• 이 방법은 소수의 에이전트(N ≤ 3)와 작은 편향 인자(k = 1) 범위에서 합리적인 스케일링을 보이며, 잠재적 협동 행동 모델링의 타당성을 입증한다.