[논문 리뷰] Finite-Sample Analysis of Decentralized Q-Learning for Stochastic Games

Zuguang Gao, Qianqian Ma외 2명|arXiv (Cornell University)|2021. 12. 15.

Auction Theory and Applications인용 수 4

한 줄 요약

이 논문은 약한 순환성 있는 스토케스틱 게임에서 분산형 Q-학습의 유한 표본 수렴 보장을 제공하며, 표본 복잡도 한계를 표본화 및 선형 함수 근사 설정 모두에 대해 수립한다. 새로운 '선형 근사 평형' 개념을 도입하고, 미약한 조건 하에서 분산형 Q-학습이 이 평형으로 수렴함을 증명하며, 이는 이전의 점근적 결과를 비점근적 영역으로 확장한다.

ABSTRACT

Learning in stochastic games is arguably the most standard and fundamental setting in multi-agent reinforcement learning (MARL). In this paper, we consider decentralized MARL in stochastic games in the non-asymptotic regime. In particular, we establish the finite-sample complexity of fully decentralized Q-learning algorithms in a significant class of general-sum stochastic games (SGs) - weakly acyclic SGs, which includes the common cooperative MARL setting with an identical reward to all agents (a Markov team problem) as a special case. We focus on the practical while challenging setting of fully decentralized MARL, where neither the rewards nor the actions of other agents can be observed by each agent. In fact, each agent is completely oblivious to the presence of other decision makers. Both the tabular and the linear function approximation cases have been considered. In the tabular setting, we analyze the sample complexity for the decentralized Q-learning algorithm to converge to a Markov perfect equilibrium (Nash equilibrium). With linear function approximation, the results are for convergence to a linear approximated equilibrium - a new notion of equilibrium that we propose - which describes that each agent's policy is a best reply (to other agents) within a linear space. Numerical experiments are also provided for both settings to demonstrate the results.

연구 동기 및 목표

• 분산형 다중 에이전트 강화학습에서 점근적 수렴과 유한 표본 성능 사이의 격차를 메우기 위해.
• 일般합 스토케스틱 게임, 특히 약한 순환성 있는 게임에서 분산형 Q-학습의 표본 복잡도를 분석하기 위해.
• 완전한 Q-함수 복원이 보장되지 않는 선형 함수 근사 설정으로의 수렴 보장을 확장하기 위해.
• 함수 근사 하에서 마르코프 완전 평형의 실용적 대안으로서 '선형 근사 평형' 개념을 도입하고 체계화하기 위해.
• 이론적 결과를 실용적으로 활용할 수 있도록 혼합 시간과 정적 분포 최소 확률에 대한 명시적, 게임 매개변수 기반의 한계를 제공하기 위해.

제안 방법

• 모든 에이전트가 자신의 관측값과 국소 업데이트만을 사용하여 학습하는 완전히 분산된 Q-학습 알고리즘(알고리즘 1)을 제안하며, 다른 에이전트의 행동이나 보상 정보를 관측하지 않는다.
• 각 에이전트의 정책이 특징의 선형 함수 공간 내에서 최적 반응이 되는 새로운 평형 개념인 '선형 근사 평형'을 도입한다.
• 수렴을 보장하기 위해 시간에 따라 변화하는 학습률을 사용하는 이중 시간 척도 업데이트 규칙을 적용하며, Q-값 추정치는 부트스트랩된 수익 기반으로 업데이트된다.
• 비균형 정책를 방문할 확률의 최소값과 연합 정책에 의해 유도되는 마르코프 체인의 혼합 시간을 제한하는 새로운 분석 프레임워크를 활용한다.
• 최소 벨먼 오차를 핵심 지표로 사용하여 정책 업데이트 확률과 평형 수렴 확률에 대한 폐형 하한을 유도한다.
• 선형 함수 근사 설정(알고리즘 2)으로 분석을 확장하여, 적절한 학습률 스케줄링 하에서 높은 확률로 선형 근사 평형으로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 약한 순환성 있는 스토케스틱 게임에서 분산형 Q-학습의 유한 표본 복잡도는 무엇이며, 게임 매개변수에 어떻게 의존하는가?
• RQ2 진정한 Q-함수가 표현 가능하지 않은 선형 함수 근사가 존재하는 상황에서 수렴을 어떻게 보장할 수 있는가?
• RQ3 함수 근사 하에서 선형 근사 평형과 고전적 마르코프 완전 평형 사이의 관계는 무엇인가?
• RQ4 혼합 시간과 최소 정적 분포 확률은 분산형 다중에이전트 강화학습에서 수렴 속도에 어떻게 영향을 미치는가?
• RQ5 혼합 시간과 정적 분포와 같은 핵심 양상에 대해 게임 매개변수 기반의 명시적 한계를 도출할 수 있는가?

주요 결과

• 논문은 표본화된 약한 순환성 있는 스토케스틱 게임에서 분산형 Q-학습이 마르코프 완전 평형으로 유한 표본 수렴함을 보이며, 필요한 단계 수에 대한 명시적 한계를 수립한다.
• 선형 함수 근사 설정에서는 알고리즘이 '선형 근사 평형'으로 수렴한다—이것은 각 에이전트의 정책가 선형 함수 공간 내에서 최적임을 보장하는 새로운 평형 개념이다—미약한 조건 하에서.
• 수렴 속도는 연합 정책 마르코프 체인의 혼합 시간과 최소 정적 분포 확률에 의존하며, 이 두 요소는 제2의 정리에 의해 게임 매개변수 기반으로 제한된다.
• 분석은 정책 업데이트 확률과 평형 수렴 확률에 대한 폐형 하한을 제공하며, 이는 이전의 점근적 분석에서는 확보되지 않았다.
• 수치 실험 결과, 정책이 평형 근처에서 머무르는 시간 비율이 에피소드 수 K와 에피소드당 단계 수 T가 증가함에 따라 증가하는 것으로 확인되었다.
• 결과적으로, 제한된 특징 집합이 존재하더라도 특징 공간이 충분히 풍부할 경우 선형 근사 평형이 진정한 마르코프 완전 평형과 매우 가까이 일치함을 보여주었다.