[논문 리뷰] A Survey on Large-Population Systems and Scalable Multi-Agent Reinforcement Learning

Kai Cui, Anam Tahir외 5명|arXiv (Cornell University)|2022. 09. 08.

Mental Health Research Topics인용 수 8

한 줄 요약

이 종합적 서베이는 대규모 인구 수를 가진 시스템을 위한 확장 가능한 다중 에이전트 강화학습(MARL) 기법에 대한 포괄적인 개요를 제시하며, 평균장 게임, 복잡한 네트워크 이론, 군집 지능의 통찰을 통합한다. 스케일링의 과제를 규명하고, MARL을 극한 이론 접근법과 융합함으로써 많은 에이전트를 포함한 대규모 시스템에 대한 취급 가능한 모델링 없이도 제어가 가능하다고 제안한다.

ABSTRACT

The analysis and control of large-population systems is of great interest to diverse areas of research and engineering, ranging from epidemiology over robotic swarms to economics and finance. An increasingly popular and effective approach to realizing sequential decision-making in multi-agent systems is through multi-agent reinforcement learning, as it allows for an automatic and model-free analysis of highly complex systems. However, the key issue of scalability complicates the design of control and reinforcement learning algorithms particularly in systems with large populations of agents. While reinforcement learning has found resounding empirical success in many scenarios with few agents, problems with many agents quickly become intractable and necessitate special consideration. In this survey, we will shed light on current approaches to tractably understanding and analyzing large-population systems, both through multi-agent reinforcement learning and through adjacent areas of research such as mean-field games, collective intelligence, or complex network theory. These classically independent subject areas offer a variety of approaches to understanding or modeling large-population systems, which may be of great use for the formulation of tractable MARL algorithms in the future. Finally, we survey potential areas of application for large-scale control and identify fruitful future applications of learning algorithms in practical systems. We hope that our survey could provide insight and future directions to junior and senior researchers in theoretical and applied sciences alike.

연구 동기 및 목표

• 대규모 수의 에이전트를 포함한 시스템에서 다중 에이전트 강화학습(MARL)의 확장성 과제를 해결하기 위해.
• 대규모 인구 수 시스템 모델링을 위한 평균장 게임, 집단 지능, 복잡한 네트워크 이론의 기존 접근법을 통합하기 위해.
• MARL과 인접 분야 간의 격차와 상호보완성을 규명하여 원칙적인, 확장 가능한 학습 알고리즘을 가능하게 하기 위해.
• 특히 공학 및 과학적 응용을 위한 확장 가능한 MARL 분야의 향후 연구를 위한 비전도 제공하기 위해.
• 진화하는 에이전트 상호작용을 모델링하기 위해 그래프 기반 모델과 적응형 네트워크 동역학을 통합해 보다 나은 모델링을 위한 시도를 하기 위해.

제안 방법

• 대규모 인구 수 환경에서의 한계를 보이는 기초 MARL 기법을 조사하고, 특히 많은 에이전트의 고통(curse of many agents) 문제를 규명하기 위해.
• 대규모 인구 수에서의 에이전트 상호작용을 모델링하기 위해 평균장 게임(MFG) 이론을 통합하여 통계적 평형 근사치를 통해 복잡도를 감소시키기 위해.
• 구조화된 토폴로지에서의 분산형, 국소적 에이전트 상호작용을 모델링하기 위해 복잡한 네트워크 이론과 그래프 동역학 시스템을 적용하기 위해.
• 고차원 상호작용을 위해 초그래프와 단체형 모델을 탐색하여 이중 상호작용을 넘어서는 집단 수준의 역학을 포착하기 위해.
• 시간에 따라 변화하는 네트워크 모델, 예를 들어 그래프론과 무작위 기하 그래프를 탐색하여 적응형, 공간에 통합된 에이전트 시스템을 표현하기 위해.
• 진화하는 그래프에서의 확장 가능한 정책 학습을 가능하게 하기 위해 그래프 신경망과 극한 이론 공식화(예: 그래프론 기반 모델)를 통합하여 제안하기 위해.

실험 결과

연구 질문

• RQ1 평균장 게임 이론은 어떻게 대규모 인구 수 시스템에 대한 확장 가능한 MARL 알고리즘 설계에 활용될 수 있는가?
• RQ2 복잡한 네트워크 이론과 그래프 동역학 시스템은 분산형 다중 에이전트 시스템의 모델링과 제어를 어떻게 향상시킬 수 있는가?
• RQ3 고차원 상호작용(예: 초그래프 또는 단체형 모델을 통한)은 실제 집단 행동을 정확하게 표현하는 데 어떤 역할을 하는가?
• RQ4 적응형 네트워크 모델(예: 시간에 따라 변화하는 그래프론 또는 무작위 기하 그래프)은 어떻게 MARL과 융합되어 동적이고 공간적으로 구조화된 시스템을 위한 제어를 가능하게 하는가?
• RQ5 MARL, 군집 지능, 극한 이론 접근법 간의 상호보완성은 어떻게 인공 군집 시스템을 위한 통합 도구 체인을 가능하게 할 수 있는가?

주요 결과

• 평균장 게임 이론은 인구 수준의 분포를 통한 상호작용 근사치를 제공함으로써 대규모 인구 수 시스템 분석을 위한 취급 가능한 프레임워크를 제공하며, 계산 복잡도를 크게 감소시킨다.
• 초그래프와 단체형 복합체를 포함한 그래프 기반 모델은 전통적인 이중 상호작용 모델에 비해 더 정확한 복잡한 집단 수준의 상호작용 표현을 가능하게 한다.
• 시간에 따라 변화하는 네트워크 모델, 예를 들어 그래프론과 무작위 기하 그래프는 동적이고 공간적으로 구조화된 시스템의 모델링을 가능하게 하며, 전염병 통제나 로봇 군집과 같은 응용 분야에서 필수적이다.
• 최근 그래프 신경망과 극한 이론 공식화(예: 그래프론 기반 모델)의 발전은 변화하는 네트워크 토폴로지에서의 확장 가능한 MARL에 강력한 잠재력을 보여주고 있다.
• MARL과 집단 지능, 복잡한 네트워크 이론의 통합은 대규모 시스템의 자동화되고 분산형 제어를 위한 새로운 길을 열어 놓고 있다.
• 진전에도 불구하고, 지능형 군집 시스템을 설계하기 위한 통합 도구 체인은 아직 존재하지 않으며, 향후 연구에 있어 중요한 격차를 드러내고 있다.