[논문 리뷰] Exploration-Exploitation in Multi-Agent Competition: Convergence with Bounded Rationality

Stefanos Leonardos, Georgios Piliouras외 1명|arXiv (Cornell University)|2021. 06. 24.

Experimental Behavioral Economics Studies인용 수 11

한 줄 요약

이 논문은 유한한 이성성 하에서 다중 에이전트 경쟁 게임에 대해 증명 가능하게 수렴하는 알고리즘으로 부드럽고 Q-학습에 보르츠만 탐색을 적용한 것을 제안한다. 이를 통해 가중치가 있는 0-합 다각형 게임에서 탐색률이 양수일 경우, 동적 시스템이 유일한 양자응답균형(QRE)으로 수렴함을 입증하며, 파rameter 조정이나 에이전트 수에 대한 의존성 없이 균형 선택 문제를 해결한다.

ABSTRACT

The interplay between exploration and exploitation in competitive multi-agent learning is still far from being well understood. Motivated by this, we study smooth Q-learning, a prototypical learning model that explicitly captures the balance between game rewards and exploration costs. We show that Q-learning always converges to the unique quantal-response equilibrium (QRE), the standard solution concept for games under bounded rationality, in weighted zero-sum polymatrix games with heterogeneous learning agents using positive exploration rates. Complementing recent results about convergence in weighted potential games, we show that fast convergence of Q-learning in competitive settings is obtained regardless of the number of agents and without any need for parameter fine-tuning. As showcased by our experiments in network zero-sum games, these theoretical results provide the necessary guarantees for an algorithmic approach to the currently open problem of equilibrium selection in competitive multi-agent settings.

연구 동기 및 목표

• 다수의 내쉬 균형을 가진 경쟁적 다중 에이전트 시스템에서의 균형 선택 문제를 해결하기 위해.
• 네트워크화된 0-합 게임에서 탐색-이용 동적 행동이 수렴성과 균형 선택에 미치는 영향을 이해하기 위해.
• 유한한 이성성 하에서 다중 에이전트 경쟁 환경에서의 수렴에 대해 이론적 보장을 제공하기 위해.
• 양수인 탐색률이 원래 게임에 다수의 균형이 존재하더라도 유일하고 안정적인 균형으로 이어짐을 보여주기 위해.
• 이론적 수렴성과 실용적 균형 선택 간 격차를 메우기 위해 경쟁 환경에서의 학습 알고리즘에 적용하기 위해.

제안 방법

• 에이전트별 탐색률 T_k를 고려한 부드러운 Q-학습(Boltzmann Q-학습)을 사용하여 보상 극대화와 탐색의 균형을 이룸.
• 현재 전략 프로파일과 유일한 QRE 사이의 KL 발산을 기반으로 한 전역 리아푸노프 함수를 도입하여 수렴성을 증명함.
• 연속 시간 업데이트 규칙을 통해 에이전트 동역학을 모델링: dx_i / x_i = (r_i - r̄) - T_k (ln x_i - Σ x_j ln x_j), 수익과 엔트로피 간의 트레이드오프를 반영함.
• 가중치가 있는 0-합 다각형 게임에서 수렴성을 분석함. 이는 이중 에이전트 0-합 게임의 네트워크화된 일반화이다.
• 다양한 탐색 프로파일과 에이전트 수를 가진 네트워크 0-합 게임에서 실험을 통해 이론적 결과를 검증함.
• 실험적 분석을 통해 탐색률이 0에 수렴할 때의 균형 선택을 분석하며, 수익 공정성과 전략 선택에 초점을 맞춤.

실험 결과

연구 질문

• RQ1 양수인 탐색률을 가진 부드러운 Q-학습이 경쟁적 다중 에이전트 네트워크에서 유일한 균형으로 수렴하는가?
• RQ2 탐색이 다수의 균형이 존재하는 게임에서 내쉬 균형 선택에 어떤 영향을 미치는가?
• RQ3 에이전트 수나 균형의 다수성 여부와 관계없이 파rameter 조정 없이도 수렴 보장이 가능한가?
• RQ4 유한한 이성성이 학습 동역학과 균형 결과에 어떤 역할을 하는가?
• RQ5 탐색이 대칭적인 경쟁 환경에서 공정한 수익 분배를 이끌 수 있는가?

주요 결과

• 모든 가중치가 있는 0-합 다각형 게임에서 양수인 탐색률을 가진 부드러운 Q-학습은 초기 조건이나 에이전트 수에 관계없이 유일한 양자응답균형(QRE)으로 수렴한다.
• KL 발산을 기반으로 한 전역 리아푸노프 함수를 통한 증명을 통해 수렴성이 보장되며, 이는 균형의 안정성과 유일성을 입증한다.
• 모든 에이전트가 양수인 탐색률을 사용할 경우, 시스템은 한계 순환을 피하고, 다수의 내쉬 균형이 존재하는 게임에서도 단일 QRE로 점진적으로 수렴한다.
• 실험 결과, 전략적 유연성이 있는 에이전트(예: 3에이전트 사슬에서의 짝수 에이전트)의 탐색이 대칭적인 에이전트(예: p1과 p3) 사이에서 공정한 수익 분할을 이끌어내며 균형을 균형 있게 선택함을 보여줌.
• 탐색이 없을 경우 동적 시스템은 어떤 균형으로든 수렴할 수 있으며, 이는 임의의 수익 분할을 초래함. 반면 탐색이 있을 경우 특정하고 공정한 결과로 수렴함.
• 이론적 및 실험적 결과는 탐색이 경쟁 환경에서 대칭적이고 공정한 결과를 선호하는 균형 선택 메커니즘으로 작용함을 시사한다.