[논문 리뷰] Limiting dynamics for Q-learning with memory one in symmetric two-player, two-action games

Janusz M Meylahn, Janssen, Lars|arXiv (Cornell University)|2021. 07. 29.

Receptor Mechanisms and Signaling인용 수 7

한 줄 요약

이 논문은 한 주기 기억을 갖는 Q-학습을 사용하여 이인, 이행동작 반복 게임에서 흡수 상태와 상호 최적 반응 역학을 식별하는 계산적 방법을 개발한다. 반복 상호 최적 반응 네트워크(IBRN)를 구축함으로써, 저자들은 표본 배치 Q-학습이 무한한 배치 크기 근처에서 이러한 역학으로 수렴함을 보여주며, 반복된 포로의 딜레마, 사슴 사냥, 호위드-다이브 게임과 같은 게임에서 흡수 상태와 한계 순환을 드러낸다.

ABSTRACT

We develop a method based on computer algebra systems to represent the mutual pure strategy best-response dynamics of symmetric two-player, two-action repeated games played by players with a one-period memory. We apply this method to the iterated prisoner's dilemma, stag hunt and hawk-dove games and identify all possible equilibrium strategy pairs and the conditions for their existence. The only equilibrium strategy pair that is possible in all three games is the win-stay, lose-shift strategy. Lastly, we show that the mutual best-response dynamics are realized by a sample batch Q-learning algorithm in the infinite batch size limit.

연구 동기 및 목표

• 한 주기 기억을 갖는 Q-학습자를 사용하는 이인, 이행동작 반복 게임에서 모든 순수 전략 균형점 식별을 위한 계산 프레임워크 수립.
• 표본 배치 Q-학습의 무한한 배치 크기 근처에서의 한계 역학을 모델링하고 분석.
• 핵심 게임이론 모델인 반복 포로의 딜레마, 사슴 사냥, 호위드-다이브에서 흡수 상태와 한계 순환의 존재 및 구조 규명.
• 동시 최적 반응 업데이트 하에서 결정론적 전략 역학을 포착하는 그래픽 표현인 반복 상호 최적 반응 네트워크(IBRN) 제공.
• Q-학습의 이론적 수렴성을 상호 최적 반응 역학과 연결하여, 매개변수 공간에서 협력 가능성 분석 가능하게 함.

제안 방법

• 한 주기 기억 하에서 상호 최적 반응이 되는 전략 쌍을 평가하여 순수 전략 상호 최적 반응의 그래프를 구축.
• 표본 배치 Q-학습의 무한한 배치 크기 근처를 결정론적 동역학계로 정의하며, Q-값이 벨만 방정식의 해로 수렴함.
• 벨만 방정식을 사용하여 상대 전략에 기반한 각 플레이어의 기대 Q-값을 계산함으로써 상호 최적 반응 식별.
• 동시 최적 반응 업데이트 하에서의 전략 전이를 나타내는 반복 상호 최적 반응 네트워크(IBRN) 생성.
• 세 가지 표준 게임인 반복 포로의 딜레마(PD), 사슴 사냥(SH), 호위드-다이브(HD)에 이 방법 적용하여 할인 요소에 따른 단계도 분석.
• 수치적 및 이론적 분석을 통해 흡수 상태와 한계 순환 존재 여부에 따라 매개변수 공간의 영역 분류.

실험 결과

연구 질문

• RQ1 한 주기 기억을 갖는 Q-학습자를 사용하는 이인, 이행동작 반복 게임에서 가능한 모든 순수 전략 균형 쌍은 무엇인가?
• RQ2 무한한 배치 크기 근처에서 표본 배치 Q-학습의 한계 역학은 상호 최적 반응 역학과 어떻게 대응되는가?
• RQ3 게임 매개변수(특히 할인 요소)가 반복 포로의 딜레마, 사슴 사냥, 호위드-다이브 게임에서 특정 흡수 상태 존재에 어떤 조건을 요구하는가?
• RQ4 한계 순환은 상호 최적 반응 역학에서 나타날 수 있으며, 이는 Q-학습 수렴에 어떤 의미를 갖는가?
• RQ5 흡수 상태의 안정성 영역은 다양한 게임과 매개변수 영역에서 어떻게 달라지는가?

주요 결과

• 반복 포로의 딜레마에서, All-D, GT(Grim Trigger), WSLS(Win-Stay, Lose-Shift)의 세 가지 대칭적 해는 유일한 순수 전략 균형 쌍이다.
• 이 방법은 사슴 사냥과 호위드-다이브 게임에 대한 모든 흡수 상태와 그 존재 조건을 성공적으로 식별한다.
• 동시 최적 반응 업데이트로 인해 IBRN 그래프에서 한계 순환이 발생할 수 있지만, 이는 결정론적 배치 업데이트 메커니즘의 산물이며 학습률 감소 시에는 지속되지 않는다.
• IBRN 표현은 표본 배치 Q-학습의 한계 역학을 정확히 포착하며, IBRN의 흡수 상태가 순수 전략으로 수렴하는 Q-학습 알고리즘의 흡수 상태와 일치함을 확인한다.
• 할인 요소 δ가 증가함에 따라, PD에서 세 균형이 동시에 존재하는 매개변수 영역이 확장되며, SH와 HD에서는 특정 조합의 균형이 존재하는 영역는 축소된다.
• IBRN 시각화를 통해 사슴 사냥과 호위드-다이브 게임에서 흡수 상태의 안정성 영역이 반복 포로의 딜레마보다 더 균형 잡힌 분포를 보임을 확인한다.