[논문 리뷰] Stigmergic Independent Reinforcement Learning for Multi-Agent Collaboration

Xing Xu, Rongpeng Li외 2명|arXiv (Cornell University)|2019. 11. 28.

Reinforcement Learning in Robotics참고 문헌 50인용 수 4

한 줄 요약

이 논문은 스트리지머지 독립 강화학습(SIRL)을 제안한다. SIRL은 간접적 소통을 위한 디지털 페로몬을 사용하는 스트리지머지와 우선순위 기반 행동 선택 네트워크를 통한 갈등 회피 메커니즘을 조합한 분산형 다중에이전트 강화학습 프레임워크이다. 이 방법은 높은 효율성과 확장성을 바탕으로 목표 형태를 협동적으로 형성할 수 있으며, 특히 고리 구조와 같은 복잡한 구성에서 수렴 속도와 최종 유사도 면에서 기준 방법들을 능가한다.

ABSTRACT

With the rapid evolution of wireless mobile devices, there emerges an increased need to design effective collaboration mechanisms between intelligent agents, so as to gradually approach the final collective objective through continuously learning from the environment based on their individual observations. In this regard, independent reinforcement learning (IRL) is often deployed in multi-agent collaboration to alleviate the problem of a non-stationary learning environment. However, behavioral strategies of intelligent agents in IRL can only be formulated upon their local individual observations of the global environment, and appropriate communication mechanisms must be introduced to reduce their behavioral localities. In this paper, we address the problem of communication between intelligent agents in IRL by jointly adopting mechanisms with two different scales. For the large scale, we introduce the stigmergy mechanism as an indirect communication bridge between independent learning agents, and carefully design a mathematical method to indicate the impact of digital pheromone. For the small scale, we propose a conflict-avoidance mechanism between adjacent agents by implementing an additionally embedded neural network to provide more opportunities for participants with higher action priorities. In addition, we present a federal training method to effectively optimize the neural network of each agent in a decentralized manner. Finally, we establish a simulation scenario in which a number of mobile agents in a certain area move automatically to form a specified target shape. Extensive simulations demonstrate the effectiveness of our proposed method.

연구 동기 및 목표

• 독립적 다중에이전트 강화학습(IRL)에서의 비정적 학습과 행동 국소성 문제를 해결하기 위해.
• 직접 소통에 의존도를 줄이기 위해 환경을 매개로 하는 간접적 소통 메커니즘인 스트리지머지를 도입하기 위해.
• 신경망 기반 평가 모듈을 활용해 고잠재력 행동을 우선순위화함으로써 에이전트 간의 협력을 향상시키기 위해.
• 에이전트 개개인이 독립적으로 학습할 수 있도록 허용하면서도 효과적인 상호에이전트 협업을 유지하기 위해.
• 집단적 형태 형성과 같은 복잡하고 확장 가능한 다중에이전트 작업에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 에이전트가 환경에 디지털 페로몬을 배치하고 이를 반응함으로써 스트리지머지 메커니즘을 도입하며, 이는 페로몬 농도가 행동 선택에 미치는 영향을 수학적으로 모델링한다.
• 행동 우선순위를 평가하고 인접한 에이전트 간의 충돌을 줄이기 위해 별도의 신경망을 활용한 갈등 회피 메커니즘을 적용한다.
• 각 에이전트가 자체 정책을 독립적으로 최적화하면서도 공유된 환경 신호를 통해 협력을 유지할 수 있도록 허용하는 연방 학습 방법을 설계한다.
• 각 에이전트가 자신의 관측치와 환경 내 스트리지머지 신호에 기반해 학습하는 분산 학습 프레임워크를 사용한다.
• 목표 형태 형성으로 향하는 집단적 행동을 장려하기 위해 보상 설계 전략을 적용하며, 작업 완료 시에만 전역 피드백을 제공한다.
• 지역적 갈등 회피 범위를 제어할 수 있도록 조정 가능한 범위의 협업 채널을 구현하여 반응성과 협업 간의 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 직접 소통 없이도 스트리지머지를 효과적으로 모델링하고 딥 강화학습에 통합하여 다중에이전트 협업에 활용할 수 있는가?
• RQ2 행동 우선순위 기반 국소적 갈등 회피 메커니즘이 분산 다중에이전트 시스템에서 협업을 어떻게 향상시키는가?
• RQ3 제안된 연방 학습 방법이 독립적 학습과 분산 최적화를 가능하게 하면서도 성능을 유지하는 정도는 어느 정도인가?
• RQ4 스트리지머지와 갈등 회피의 조합이 기존의 IRL 기준 방법들보다 형태 형성 작업에서 어떻게 뛰어나게 하는가?
• RQ5 협업 채널 범위가 다중에이전트 형태 형성에서 수렴 속도와 최종 작업 성능에 미치는 영향은 어떠한가?

주요 결과

• SIRL은 에이전트 위치와 목표 형태를 완전히 알고 있는 오라클 기준 방법과 유사한 최종 유사도 수준을 달성하여 높은 작업 효율성을 보였다.
• 갈등 회피 메커니즘이 수렴 속도와 최종 성능을 크게 향상시켰으며, 특히 고밀도 또는 복잡한 구성(예: 고리형 목표)에서 두드러졌다.
• 협업 채널을 가장 가까운 이웃(범위 1)으로 제한한 SIRL-A는 SIRL과 거의 동일한 성능을 달성하여 국소적 협업이 충분하고 효과적임을 입증했다.
• 갈등 회피 기능을 비활성화한 SIRL-WS는 초기 성장 속도는 빠르지만 최종 유사도가 낮게 수렴하는 것으로 나타나, 이 메커니즘이 높은 성능을 위해 필수적임을 증명했다.
• SIRL의 수렴을 위한 총 스텝 수는 오라클 방법과 유사하여 실시간 작업 실행에서 뛰어난 확장성과 효율성을 보였다.