[논문 리뷰] Asymptotic Convergence and Performance of Multi-Agent Q-Learning Dynamics

Aamal Hussain, Francesco Belardinelli외 1명|arXiv (Cornell University)|2023. 01. 23.

Experimental Behavioral Economics Studies인용 수 5

한 줄 요약

이 논문은 일반적인 N명 참가자 게임에서 부드러운 Q-학습 동역학의 탐색 비율에 대해 수렴가능성을 보장하는 충분조건을 설정한다. 이 조건은 유일한 평형점으로의 점근적 수렴을 보장한다. 단조성과 섭동 분석을 활용하여, 가중치가 부여된 잠재력 게임과 가중치가 부여된 제로섬 다각형 게임의 특수 케이스로 수렴성을 증명하였으며, 특정 조건 하에서 수렴하지 않는 동역학이 사회적 복지 측면에서 평형점을 초월할 수 있음을 보여주었다.

ABSTRACT

Achieving convergence of multiple learning agents in general $N$-player games is imperative for the development of safe and reliable machine learning (ML) algorithms and their application to autonomous systems. Yet it is known that, outside the bounds of simple two-player games, convergence cannot be taken for granted. To make progress in resolving this problem, we study the dynamics of smooth Q-Learning, a popular reinforcement learning algorithm which quantifies the tendency for learning agents to explore their state space or exploit their payoffs. We show a sufficient condition on the rate of exploration such that the Q-Learning dynamics is guaranteed to converge to a unique equilibrium in any game. We connect this result to games for which Q-Learning is known to converge with arbitrary exploration rates, including weighted Potential games and weighted zero sum polymatrix games. Finally, we examine the performance of the Q-Learning dynamic as measured by the Time Averaged Social Welfare, and comparing this with the Social Welfare achieved by the equilibrium. We provide a sufficient condition whereby the Q-Learning dynamic will outperform the equilibrium even if the dynamics do not converge.

연구 동기 및 목표

• 일반적인 N명 참가자 게임에서 다중 에이전트 강화학습의 유일한 평형점으로의 수렴 보장이라는 핵심 과제를 해결한다.
• 다중 에이전트 학습에서 흔히 발생하는 비정적성과 불안정성 문제를 해결한다. 이는 주기적 행동과 혼돈이 자주 발생하기 때문이다.
• 탐색 비율을 매개변수화함으로써 일반적인 게임 전역에 걸쳐 부드러운 Q-학습의 수렴 보장을 제공한다.
• 시간 평균 사회적 복지 지표를 통해 성능을 분석하고, 평형점 성능과 비교함으로써 수렴하지 않는 동역학이 유리한 조건을 규명한다.
• 단조성과 섭동 기반의 단일 이론적 프레임워크에 기반해 잠재력 게임과 제로섬 게임에서의 수렴 결과를 통합한다.

제안 방법

• 탐색 비율을 매개변수화한 부드러운 Q-학습 동역학 모델을 도입하여 탐색과 이용의 균형을 이룬다.
• 섭동 이론을 적용하여 원래 게임을 엄격히 단조적인 의사기울기( pseudo-gradient )를 갖는 섭동 게임으로 변형함으로써 수렴을 보장한다.
• 가중치가 부여된 단조성과 볼록 잠재함수의 성질을 활용하여 수렴 조건을 수립한다.
• 복제자 동역학(RD)의 결과와 단조성 하에서의 수렴 성질을 활용하여, 섭동에 의한 등가성에 기반해 Q-학습 수렴성을 유추한다.
• 성능 지표로 시간 평균 사회적 복지를 정의하고 분석하여 학습 동역학과 평형 결과를 비교한다.
• 수렴하지 않는 Q-학습 동역학이 평형점보다 더 높은 사회적 복지를 달성할 수 있는 충분조건을 유도한다.

실험 결과

연구 질문

• RQ1 일반적인 N명 참가자 게임에서 부드러운 Q-학습이 유일한 평형점으로 수렴하기 위한 탐색 비율 조건은 무엇인가?
• RQ2 가중치가 부여된 잠재력 게임과 가중치가 부여된 제로섬 다각형 게임과 같은 특정 게임 유형의 수렴 결과를 단일 이론적 프레임워크로 통합할 수 있는가?
• RQ3 수렴하지 않는 Q-학습 동역학이 평형 결과보다 더 높은 사회적 복지를 달성할 수 있는 상황이 존재하는가?
• RQ4 시간 평균 사회적 복지로 측정한 Q-학습 동역학의 성능은 평형점의 사회적 복지와 어떻게 비교되는가?
• RQ5 게임의 의사기울기의 단조성 성질을 매개변수 조정을 통해 유지하거나 유도할 수 있는가? 이를 통해 수렴을 보장할 수 있는가?

주요 결과

• 게임 크기와 참가자 수에 따라 달라지는 탐색 비율에 대한 충분조건이 존재하며, 이 조건은 어떤 N명 참가자 게임에서나 부드러운 Q-학습 동역학이 유일한 평형점으로 수렴함을 보장한다.
• 볼록 잠재함수를 갖는 가중치가 부여된 잠재력 게임과 가중치가 부여된 제로섬 다각형 게임은 주된 수렴 결과의 특수 케이스로 나타나며, 단조성과 섭동 분석에 의해 수렴성이 입증된다.
• 잠재함수가 볼록일 경우, 섭동 게임 $Γ^H$ 는 엄격히 단조적인 의사기울기를 갖는다. 이는 복제자 동역학에 대한 기존 결과에 기반해 Q-학습 수렴을 보장한다.
• 가중치가 부여된 제로섬 다각형 게임의 경우, 제로섬 성질과 대칭적 수익 구조 덕분에 게임이 가중치가 부여된 단조적이게 되며, 이는 고유한 양자응답 평형점(QRE)으로의 수렴을 이끈다.
• 동역학이 수렴하지 않을 경우, Q-학습의 시간 평균 사회적 복지가 평형점의 복지 수준을 초월할 수 있는 충분조건이 존재한다. 이는 완전한 수렴을 피할 경우의 잠재적 이점이 있음을 시사한다.
• 실험 결과에 따르면, 탐색을 증가시키는 것은 수익 성능을 악화시킬 수 있다. 이는 일부 게임에서는 최소한의 탐색 또는 탐색 없이 평형점으로의 수렴을 유도하는 것이 더 높은 사회적 복지를 달성할 수 있음을 시사한다.