[논문 리뷰] Modeling Other Players with Bayesian Beliefs for Games with Incomplete Information

Zuyuan Zhang, Mahdi Imani외 1명|arXiv (Cornell University)|2024. 05. 23.

Game Theory and ApplicationsDecision Sciences인용 수 3

한 줄 요약

이 논문은 정보가 불완전한 게임에서 베이지안 나시 균형을 계산하기 위한 새로운 카운터패셜 리그레스 미니마이제이션(Counterfactual Regret Minimization, CFR) 알고리즘인 Bayesian-CFR를 소개한다. 다른 플레이어의 유형과 전략에 대한 사후 확률을 커널 밀도 추정을 통해 갱신함으로써, 이 방법은 베이지안 리그레스를 최소화하고 텍사스 홀덤 포커에서 기존의 CFR 기반 기준선보다 뚜렷이 뛰어나게 성능을 발휘하며, 혼합 유형 플레이어 상황에서 최소 0.02의 유용성 불가능성(exploitability)을 달성한다.

ABSTRACT

Bayesian games model interactive decision-making where players have incomplete information -- e.g., regarding payoffs and private data on players' strategies and preferences -- and must actively reason and update their belief models (with regard to such information) using observation and interaction history. Existing work on counterfactual regret minimization have shown great success for games with complete or imperfect information, but not for Bayesian games. To this end, we introduced a new CFR algorithm: Bayesian-CFR and analyze its regret bound with respect to Bayesian Nash Equilibria in Bayesian games. First, we present a method for updating the posterior distribution of beliefs about the game and other players' types. The method uses a kernel-density estimate and is shown to converge to the true distribution. Second, we define Bayesian regret and present a Bayesian-CFR minimization algorithm for computing the Bayesian Nash equilibrium. Finally, we extend this new approach to other existing algorithms, such as Bayesian-CFR+ and Deep Bayesian CFR. Experimental results show that our proposed solutions significantly outperform existing methods in classical Texas Hold'em games.

연구 동기 및 목표

• 플레이어들이 지ay가치와 다른 플레이어의 유형에 대해 정보가 불완전한 상황에서 카운터패셜 리그레스 미니마이제이션(CFR)을 적용하는 데 발생하는 격차를 메운다.
• 상호작용 역사 정보를 바탕으로 플레이어가 게임과 다른 플레이어의 비공개 정보에 대한 믿음을 동적으로 갱신할 수 있는 방법을 개발한다.
• 베이지안 리그레스를 정의하고, 광범위한 형태의 베이지안 게임에서 베이지안 나시 균형으로 수렴하는 최소화 알고리즘을 설계한다.
• 계층적 및 신경망 기반 표현을 활용하여 확장 가능한 설정으로 프레임워크를 확장하기 위해 Bayesian-CFR+와 딥 베이지안 CFR를 도입한다.
• 플레이어가 다양한 유형을 띠며 알려지지 않은 행동 패턴을 보이는 실제 환경, 예를 들어 텍사스 홀덤에서 뛰어난 성능을 입증한다.

제안 방법

• 지역 관찰 역사 기반으로 다른 플레이어의 유형과 게임 파라미터에 대한 사후 분포를 반복적으로 갱신하기 위해 커널 밀도 추정을 사용한다.
• 즉각적인 베이지안 카운터패셜 리그레스를 정의하고, 이를 최소화하면 총합 베이지안 리그레스도 최소화됨을 증명한다.
• 플레이어의 유형과 믿음에 대한 불확실성을 반영하는 새로운 리그레스 지표인 베이지안 리그레스를 도입한다.
• 관측된 상호작용을 통해 플레이 중인 동안 믿음 모델을 유지하고 갱신하는 리그레스 최소화 알고리즘인 Bayesian-CFR를 설계한다.
• 누적된 카운터패셜 리그레스를 통합함으로써 Bayesian-CFR를 Bayesian-CFR+로 확장하고, 믿음 표현을 위해 딥 신경망을 사용하여 딥 베이지안 CFR를 설계한다.
• 시간 T와 믿음 모델 차원 Θ에 의존하는 추가 항 ΔΘ^T를 포함하는 리그레스 경계를 증명함으로써 이론적 수렴을 보장한다.

(a) Pure-N

실험 결과

연구 질문

• RQ1 플레이어들이 타인의 비공개 유형을 고려해야 하는 정보가 불완전한 베이지안 게임에 대해 카운터패셜 리그레스 미니마이제이션을 효과적으로 적용할 수 있는가?
• RQ2 광범위한 형태의 게임에서 상호작용 역사 정보를 효율적이고 일관적으로 활용해 다른 플레이어의 유형에 대한 믿음 모델을 갱신할 수 있는가?
• RQ3 제안된 Bayesian-CFR 알고리즘의 이론적 리그레스 경계는 베이지안 나시 균형에 대해 어떻게 되는가?
• RQ4 신뢰 기반 리그레스 최소화와 커널 밀도 추정은 텍사스 홀덤과 같은 대규모 베이지안 게임에서 성능을 어떻게 향상시키는가?
• RQ5 Bayesian-CFR 및 그 확장 기법은 표준 CFR, CFR+, 그리고 딥 강화학습 기반 기준선 대비 어떤 정도로 불가능성(exploitability)과 수렴 속도에서 뛰어나게 되는가?

주요 결과

• 혼합 유형 플레이어 상황에서 Bayesian-CFR는 0.02의 불가능성(exploitability)을 달성하며, CFR(0.31), CFR+(0.27), DQN(0.33) 기준선보다 뚜렷이 뛰어나다.
• 제거 실험 결과, 믿음 모델 갱신을 제거하면 불가능성은 전체 Bayesian-CFR를 사용한 경우의 0.19에서 0.27로 증가함을 확인하여 믿음 학습의 핵심적 역할을 입증한다.
• Bayesian-CFR는 평균 불가능성 0.19를 기록하며, 완전 정보 기준 하한값인 0.16에 매우 가까운 성능을 보이며 불확실성 하에서의 뛰어난 성능을 입증한다.
• Bayesian-CFR+는 모든 테스트된 플레이어 유형에서 안정적인 불가능성 0.02를 달성하여 다양한 유형의 행동 패턴이 존재하는 환경에서의 강건성과 확장성(스케일러빌리티)을 보여준다.
• 제안된 프레임워크는 특히 플레이어 행동이 이질적인 혼합 유형 환경에서 비신뢰 기반 방법보다 불가능성을 크게 감소시킨다.
• 딥 베이지안 CFR와 Bayesian-CFR+는 특히 유형이 변화하는 복잡한 대규모 베이지안 게임에서 표준 CFR 및 DQN 대비 수렴성과 안정성이 향상됨을 보였다.

(b) Pure-C