[논문 리뷰] Complexity and Algorithms for Exploiting Quantal Opponents in Large Two-Player Games

David Milec, Jakub Černý외 2명|arXiv (Cornell University)|2020. 09. 30.

Game Theory and Applications참고 문헌 29인용 수 4

한 줄 요약

이 논문은 대규모 양자 게임에서 제한된 이성(양자 반응, QR)을 보이는 상대방을 대상으로 하여, 나시 균형(Nash)과 양자 나시 균형(QNE)을 모두 능가하는 전략을 계산하기 위해 확장 가능한 CFR 기반 알고리즘인 RQR(Restricted Quantal Response)을 제안한다. 이 방법은 QR 상대방과 이성적인 상대방 모두에 대해 탐색 가능성과 기대 유용도를 향상시키며, 정규형 및 광범위형 게임, 특히 대규모 포커 변형과 Goofspiel 7에서 뛰어난 성능을 보인다.

ABSTRACT

Solution concepts of traditional game theory assume entirely rational players; therefore, their ability to exploit subrational opponents is limited. One type of subrationality that describes human behavior well is the quantal response. While there exist algorithms for computing solutions against quantal opponents, they either do not scale or may provide strategies that are even worse than the entirely-rational Nash strategies. This paper aims to analyze and propose scalable algorithms for computing effective and robust strategies against a quantal opponent in normal-form and extensive-form games. Our contributions are: (1) we define two different solution concepts related to exploiting quantal opponents and analyze their properties; (2) we prove that computing these solutions is computationally hard; (3) therefore, we evaluate several heuristic approximations based on scalable counterfactual regret minimization (CFR); and (4) we identify a CFR variant that exploits the bounded opponents better than the previously used variants while being less exploitable by the worst-case perfectly-rational opponent.

연구 동기 및 목표

• 대규모 양자 게임에서 제한된 이성(양자 반응)을 보이는 상대방에 대응하는 효과적인 전략을 계산하는 데 도전한다.
• 계산적으로 어려운 양자 스택엘베르크 균형(QSE)의 대안으로서 확장 가능하면서도 높은 유용도와 낮은 탐색 가능성을 유지하는 방법을 찾는다.
• 특히 CFR 변형과 같은 기존의 유 regret 최소화 히우리스틱을 개선하고, QR 상대방을 탐색하는 데에 활용한다.
• QNE가 QSE의 나쁜 근사치이며, 탐색 가능한 설정에서 표준 나시 균형보다 성능이 열 劣할 수 있음을 입증한다.
• 실용적이고 확장 가능한 알고리즘을 개발하고 검증하여, 다양한 수준의 상대방의 이성성에 걸쳐 기대 유용도와 내구성 측면에서 베이스라인을 능가한다.

제안 방법

• 양자 나시 균형(QNE)과 양자 스택엘베르크 균형(QSE)이라는 두 가지 해결 개념을 제안하고, 이들의 이론적 성질과 계산의 난이도를 분석한다.
• 정규형 게임에서 QNE를 계산하는 것이 PPAD-난이도이며, 광범위형 게임에서 QSE가 NP-난이도임을 증명한다. 이는 0-합 설정에서도 마찬가지다.
• 상대방의 반응을 제한함으로써 양자 반응 행동과 더 잘 일치하도록 개선된 RQR라는 새로운 CFR 변형을 사용한다.
• CFR에 제한된 반응 메커니즘을 도입하여 스택엘베르크 약속을 시뮬레이션함으로써 탐색 가능성을 향상시키면서도 내구성을 손상시키지 않는다.
• CFR-f 기반 히우리스틱 근사치를 사용하고, 다양한 게임 유형에서 기대 유용도와 탐색 가능성 메트릭을 통해 성능을 평가한다.
• 상대방의 제한된 이성 정도를 모델링하기 위해 이성성 파라미터 λ를 사용하고, 다양한 λ 값에서 전략의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 확장 가능한 유 regret 최소화 알고리즘이 대규모 양자 게임에서 양자 반응 상대방을 효과적으로 탐색할 수 있는가?
• RQ2 QNE의 성능은 기대 유용도와 탐색 가능성 측면에서 QSE와 나시 균형과 비교해 어떻게 되는가?
• RQ3 QNE를 동시에 탐색 가능성과 기대 유용도 측면에서 능가하는 CFR 기반 히우리스틱이 존재하는가?
• RQ4 상대방이 완전히 이성적일 경우, 제한된 이성성에 맞춰 설계된 이 알고리즘이 내구성을 유지할 수 있는가?
• RQ5 RQR 알고리즘은 Goofspiel 7과 Leduc Hold’em과 같은 대규모 게임에서 어떻게 확장되고 성능을 발휘하는가?

주요 결과

• Leduc Hold’em에서 RQR는 CLQR 상대방에 대해 2.412의 유용도를 기록하며, QNE(2.357)와 CFR(1.191)를 능가하고, 탐색 가능성도 낮은 편(3.849 vs. 4.045)이다.
• Goofspiel 7에서 RQR는 2.412의 유용도와 3.849의 탐색 가능성으로, CFR-QR(유용도 2.357, 탐색 가능성 4.045)와 CFR(유용도 1.191, 탐색 가능성 0.115)를 크게 능가한다.
• RQR는 이성성 파라미터 λ의 다양한 값에서 기대 유용도와 탐색 가능성 측면에서 QNE를 일관되게 능가하며, λ가 높을수록(즉, 상대방이 거의 이성적일수록)에도 마찬가지다.
• GA와 COMB는 Goofspiel 7과 같은 대규모 게임에서 메모리와 계산 자원의 제약으로 인해 실행이 불가능하지만, RQR는 1000회 반복에서도 효과적으로 확장된다.
• RQR 버전은 QNE보다 탐색 가능성이 낮고, 모든 테스트된 게임과 이성성 수준에서 NE와 QNE보다 더 우수한 성능을 보인다.
• 이 연구는 QNE가 QSE의 나쁜 대체물이며, 탐색 가능한 설정에서 표준 나시 균형 전략보다 성능이 열 劣할 수 있음을 확인한다.