[논문 리뷰] Multi-Agent Reinforcement Learning in Stochastic Networked Systems

Yiheng Lin, Guannan Qu외 2명|arXiv (Cornell University)|2020. 06. 11.

Age of Information Optimization인용 수 8

한 줄 요약

이 논문은 난수성이고 국소적이지 않은 네트워크 시스템에서 다중 에이전트 강화 학습(MARL)을 위한 확장 가능한 액터-크리틱(SAC) 프레임워크를 제안한다. 여기서 에이전트 간 의존성은 무작위적이며 시간에 따라 변한다. 정보 확산을 모델링하기 위해 일반화된 $\mu$-감쇠 성질을 도입함으로써, 유한 시간 수렴 보장을 갖는 확장 가능한 학습을 달성하였으며, 이는 난수성이고 국소적이지 않은 MARL 환경에서 처음으로 이뤄진 결과이다.

ABSTRACT

We study multi-agent reinforcement learning (MARL) in a stochastic network of agents. The objective is to find localized policies that maximize the (discounted) global reward. In general, scalability is a challenge in this setting because the size of the global state/action space can be exponential in the number of agents. Scalable algorithms are only known in cases where dependencies are static, fixed and local, e.g., between neighbors in a fixed, time-invariant underlying graph. In this work, we propose a Scalable Actor Critic framework that applies in settings where the dependencies can be non-local and stochastic, and provide a finite-time error bound that shows how the convergence rate depends on the speed of information spread in the network. Additionally, as a byproduct of our analysis, we obtain novel finite-time convergence results for a general stochastic approximation scheme and for temporal difference learning with state aggregation, which apply beyond the setting of MARL in networked systems.

연구 동기 및 목표

• 무작위적이며 국소적이지 않은 의존성 구조를 가진 다중 에이전트 강화 학습(MARL)에서의 확장성 문제를 다루며, 이는 무선 네트워크나 교통 시스템과 같은 실제 시스템에서 흔히 발생한다.
• 이전 방법들이 정적이고 국소적인 의존성(예: 이웃 에이전트 간 상호작용)과 지수 감쇠 가정에 의존하는 한계를 극복한다.
• 고정되거나 시간에 따라 변하지 않는 상호작용 그래프가 필요 없이 일반적인 난수성이고 국소적이지 않은 의존성 구조에서 작동하는, 증명 가능한 확장성 있는 MARL 알고리즘을 개발한다.
• 정보 전파 속도에 따라 수렴 속도가 어떻게 영향을 받는지 정량화하는 유한 시간 오차 한계를 확립한다.
• 일반적인 확률적 추정과 상태 집합화를 갖는 TD 학습에 대해 유한 시간 수렴 결과를 도출함으로써, MARL을 초월한 이론적 기여를 한다.

제안 방법

• 각 에이전트가 다른 에이전트의 무작위 부분집합에 의존하는 새로운 종류의 의존성 구조 클래스를 제안하며, 이는 정적이고 국소적인 의존성을 일반화한다.
• 정의 2.1에서 제안한 $\mu$-감쇠 성질을 도입하여, 난수성 네트워크에서 거리에 따라 영향력이 어떻게 감소하는지를 일반화된 지수 감쇠 성질로 기술한다.
• 지역적 주변 정보를 사용하는 상태 집합화를 통해 분산적이고 확장 가능한 학습을 가능하게 하는 확장 가능한 액터-크리틱(SAC) 알고리즘을 설계한다.
• 무한 노름 수축과 상태 집합화를 특징으로 하는 일반적인 확률적 추정 기반의 유한 시간 분석(정리 3.1)을 적용하여, 알고리즘의 수렴 보장을 뒷받침한다.
• 전역 상태/행동을 지역적 메타상태로 묶는 맵핑 $h$를 통한 상태 집합화를 사용하여, 효과적인 상태 공간을 줄이면서도 정책 품질을 유지한다.
• $\mu$-감쇠 성질과 유한한 Q-값 변동성(가정 D.6)을 사용하여, 집합화된 MDP의 가치 함수가 진정한 전역 Q-값 함수와 유한한 오차 내에서 근사됨을 증명한다.

실험 결과

연구 질문

• RQ1 난수성이고 국소적이지 않은 의존성 구조에서, 고정되거나 국소적인 상호작용이 아닌 환경에서도 확장 가능한 MARL을 달성할 수 있는가?
• RQ2 네트워크 내 정보 전파 속도는 MARL 알고리즘의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 지수 감쇠 성질은 난수성이고 국소적이지 않은 의존성으로 일반화될 수 있으며, 이는 확장 가능한 학습을 가능하게 하는가?
• RQ4 비 i.i.d. 환경에서 상태 집합화를 갖는 확률적 추정 기반의 스킴에 대해 어떤 유한 시간 수렴 보장을 확보할 수 있는가?
• RQ5 제안된 방법은 국소적이지 않고 난수성 네트워크에서 기존 MARL 알고리즘보다 더 높은 샘플 효율성과 확장성을 보이는가?

주요 결과

• 제안된 확장 가능한 액터-크리틱(SAC) 알고리즘은 난수성이고 국소적이지 않은 네트워크 기반 MARL 환경에서 증명 가능한 근사 최적의 국소 정책을 달성하였으며, 이는 처음으로 이뤄진 결과이다.
• 유한 시간 오차 한계는 정보 전파 속도가 빨라질수록 더 깊은(비국소적) 상호작용 빈도 증가로 인해 효과적인 상태 공간 복잡도가 증가함에 따라 수렴 속도가 떨어짐을 보여준다.
• 무한 노름 수축과 상태 집합화를 갖는 일반적인 확률적 추정 기반 스킴에 대해 유한 시간 수렴 한계를 확립하였으며, 이는 새로운 이론적 기여이다.
• 상태 집합화를 통한 시간 차분(TD) 학습에 대해 유한 시간 경계를 도출하였으며, 이는 MARL을 초월해 강화 학습의 일반적 함수 근사에 응용 가능하다.
• 집합화된 Q-값 함수와 진정한 전역 Q-값 함수 간 오차는 $\frac{2\epsilon_{Q^*}}{1-\gamma}$ 이내로 유 bounds되며, 여기서 $\epsilon_{Q^*}$ 는 집합화된 상태들 간 최적 Q-값의 변동성을 캡처한다.
• 이론적 프레임워크는 $\mu$-감쇠 성질 하에서 확장성이 달성될 수 있음을 시사하며, 이는 이전 연구에서 사용된 지수 감쇠 성질을 일반화한 것으로, 난수성이고 국소적이지 않은 의존성에 적용 가능하다.