[논문 리뷰] Breaking the Curse of Many Agents: Provable Mean Embedding Q-Iteration for Mean-Field Reinforcement Learning

Lingxiao Wang, Zhuoran Yang외 1명|arXiv (Cornell University)|2020. 06. 21.

Evolutionary Algorithms and Applications인용 수 6

한 줄 요약

이 논문은 연속적인 평균장 상태에서 가치 함수를 근사하기 위해 커널 평균 임bedding을 사용하는 모델리스(mean-field) 강화학습 알고리즘인 MF-FQI를 제안한다. 비점근 수렴 속도를 확립하여, MF-FQI가 관측된 에이전트 수에 따라 선형적으로 스케일링되며 통계적 정확도에서 '많은 에이전트의 복수 효과(blessing of many agents)'를 경험함으로써 많은 에이전트의 고전적 난관(curse of many agents)을 극복함을 증명한다.

ABSTRACT

Multi-agent reinforcement learning (MARL) achieves significant empirical successes. However, MARL suffers from the curse of many agents. In this paper, we exploit the symmetry of agents in MARL. In the most generic form, we study a mean-field MARL problem. Such a mean-field MARL is defined on mean-field states, which are distributions that are supported on continuous space. Based on the mean embedding of the distributions, we propose MF-FQI algorithm that solves the mean-field MARL and establishes a non-asymptotic analysis for MF-FQI algorithm. We highlight that MF-FQI algorithm enjoys a "blessing of many agents" property in the sense that a larger number of observed agents improves the performance of MF-FQI algorithm.

연구 동기 및 목표

• 다에이전트 강화학습(MARL)에서 '많은 에이전트의 고전적 난관'으로 인한 고차원 상태-행동 공간 문제를 해결한다.
• 연속된 에이전트 상태 공간을 가진 평균장 다에이전트 강화학습을 위한 모델리스 알고리즘을 개발하며, 가치 함수는 무한차원 분포 위의 함수형으로 표현된다.
• 제안된 알고리즘에 대한 비점근 계산 및 통계적 수렴 속도를 확립한다.
• 동일한 에이전트 시스템에서 대칭성과 교환 가능성을, 재생 힐버트 공간(RKHS) 내의 커널 평균 임베딩을 통해 활용한다.
• 관측된 에이전트 수가 증가할수록 통계적 정확도가 향상됨을 입증하여 '많은 에이전트의 복수 효과'를 도입한다.

제안 방법

• 연속 상태 공간 S 위의 확률적 분포로 평균장 상태를 표현하고, 이를 재생 힐버트 공간(RKHS)으로 사상하기 위해 커널 평균 임베딩을 사용한다.
• 평균장 상태의 평균 임베딩을 사용하여 RKHS 내의 비선형 함수형으로 Q-함수를 근사한다.
• 배치 전이와 커널 기반 함수 근사법을 사용해 반복적으로 Q-함수 추정치를 개선하는, 피팅된 Q-반복(fitted Q-iteration)의 변종인 MF-FQI 알고리즘을 제안한다.
• Q-함수 학습을 위해 RKHS 내에서 정규화된 최소제곱 추정기와 스펙트럼 정규화 항을 사용하여 일반화 오차를 제어한다.
• 집중 부등식과 커널 안정성 가정을 통해 실제 연산자와 경험 연산자 간의 차이를 경계함으로써 수렴성을 확립한다.
• 평균장 전이 연산자의 구조와 커널의 정칙성을 활용하여 배치 크기와 관측된 에이전트 수에 따라 비점근 오차 경계를 유도한다.

실험 결과

연구 질문

• RQ1 연속된 에이전트 상태와 무한차원 평균장 상태가 존재하는 상황에서, 최적의 가치 함수로 증명 가능하게 수렴하는 모델리스 평균장 다에이전트 강화학습 알고리즘을 설계할 수 있는가?
• RQ2 무한차원 평균장 상태의 특성에도 불구하고, 관측된 에이전트 수가 증가할수록 알고리즘의 통계적 정확도가 향상되는가?
• RQ3 평균장 다에이전트 강화학습에서 학습의 계산 복잡도가 관측된 에이전트 수에 대해 선형적으로 스케일링되어, 많은 에이전트의 고전적 난관을 극복할 수 있는가?
• RQ4 커널 방법을 사용하여 평균장 다에이전트 강화학습에서 가치 함수 근사에 대한 비점근 수렴 속도를 달성할 수 있는가?
• RQ5 배치 크기와 관측된 에이전트 수의 상호작용이 알고리즘의 일반화 오차와 수렴 속도에 어떻게 영향을 미치는가?

주요 결과

• MF-FQI는 반복 횟수에 대해 선형 수렴 속도를 달성하며, 이 수렴 속도는 커널의 스펙트럼 성질과 정규화 파라미터에 따라 달라진다.
• 알고리즘의 계산 복잡도는 관측된 에이전트 수에 대해 선형적으로 증가하여, 실제로 많은 에이전트의 고전적 난관을 극복한다.
• 관측된 에이전트 수가 증가할수록 통계적 정확도가 향상되어 '많은 에이전트의 복수 효과'를 입증하며, 더 큰 표본 크기가 추정 오차를 감소시킨다.
• 정규성 가정 하에 일반화 오차는 N^{-h/2} 비례로 감소하며, 여기서 N은 관측된 에이전트 수이고 h는 커널의 부드러움 파라미터이다.
• 커널 평균 임베딩의 안정성에 기반하여 경험 연산자와 진짜 연산자 간의 수렴이 높은 확률로 경계된다.
• 알고리즘은 배치 크기와 관측된 에이전트 수에 따라 비추상적인 오차 경계를 달성하며, 커널의 부드러움과 연산자의 스펙트럼 감쇠에 명시적인 의존성을 가진다.