[논문 리뷰] Regret Minimization in Behaviorally-Constrained Zero-Sum Games

Gabriele Farina, Christian Kroer외 1명|arXiv (Cornell University)|2017. 11. 09.

Economic theories and models인용 수 9

한 줄 요약

이 논문은 행동 제약 조건이 있는 0-합 광범위형 게임을 위한 회귀 최소화 프레임워크를 제안하며, 떨림손 행동을 모델링하는 변동성을 처리할 수 있도록 CFR+ 알고리즘을 확장한다. 이는 최신의 내시 균형 솔버와 비교해 유사한 수렴 속도를 달성하면서도, 특히 광범위형 완전 균형에 대해 훨씬 향상된 균형 정밀도 성질을 갖는 전략을 생성한다.

ABSTRACT

No-regret learning has emerged as a powerful tool for solving extensive-form games. This was facilitated by the counterfactual-regret minimization (CFR) framework, which relies on the instantiation of regret minimizers for simplexes at each information set of the game. We use an instantiation of the CFR framework to develop algorithms for solving behaviorally-constrained (and, as a special case, perturbed in the Selten sense) extensive-form games, which allows us to compute approximate Nash equilibrium refinements. Nash equilibrium refinements are motivated by a major deficiency in Nash equilibrium: it provides virtually no guarantees on how it will play in parts of the game tree that are reached with zero probability. Refinements can mend this issue, but have not been adopted in practice, mostly due to a lack of scalable algorithms. We show that, compared to standard algorithms, our method finds solutions that have substantially better refinement properties, while enjoying a convergence rate that is comparable to that of state-of-the-art algorithms for Nash equilibrium computation both in theory and practice.

연구 동기 및 목표

• 대규모 0-합 광범위형 게임에서 균형 정밀도를 계산하기 위한 확장 가능한 알고리즘이 부족한 문제를 해결하기 위해.
• 내시 균형의 근본적 한계를 극복하기 위해, 확률이 0인 정보집합에서의 성능에 대해 보장이 없는 문제를 해결하기 위해.
• 각 정보집합에서 전략 단체에 선형 제약 조건을 지원하는 회귀 최소화 프레임워크를 개발하기 위해.
• 행동 편향을 통해 근사 광범위형 완전 균형(EFPE)을 계산할 수 있도록 하기 위해.
• 최신의 CFR+ 및 EGT 알고리즘과 유사한 수렴 속도를 유지하면서도 정밀도 향상을 향상시키기 위해.

제안 방법

• 유한 생성된 볼록 다각체, 특히 각 정보집합에서 선형 제약 조건이 가해진 단체 위에서 작동하도록 회귀 매칭+ (RM+)를 확장한다.
• 행동 제약 조건이 있는 게임을 각 정보집합에서 혼합 전략에 선형 제약 조건이 가해진 광범위형 게임으로 모델링한다.
• 편향된 전략 공간의 기저 표현을 통해 회귀 최소화를 적용하며, 편향 확률에서 유도된 가역 행렬을 사용한다.
• 원래의 게임에서 순수 행동에 대한순간적 회귀를 계산하고, 이를 계산 오버헤드 없이 편향된 기저에 대한 회귀 업데이트로 변환한다.
• 표준 CFR+와 동일한 수렴 속도를 유지하면서도, 편향 인식 전략 업데이트와 함께 회귀 업데이트를 통합한 수정된 CFR+ 알고리즘을 사용한다.
• 게임 트리 전반에서 반사적 가치와 회귀를 업데이트하기 위해 재귀적 순회 메커니즘을 사용하며, 회귀 업데이트 규칙에 편향 항을 통합한다.

실험 결과

연구 질문

• RQ1 광범위형 게임에서 전략 단체에 대한 선형 제약 조건을 처리할 수 있도록 회귀 최소화를 확장할 수 있는가?
• RQ2 제안된 방법은 균형 정밀도에 대해 표준 CFR+보다 더 빠른 수렴 속도와 향상된 정밀도 성질을 달성하는가?
• RQ3 행동 편향을 체계적으로 CFR 프레임워크에 통합하여 근사 광범위형 완전 균형을 계산할 수 있는가?
• RQ4 제안된 알고리즘의 수렴 속도는 CFR+ 및 EGT와 같은 최신 알고리즘과 유사한가?
• RQ5 결과 전략이 확률이 0인 정보집합에서 상대방의 실수에 대해 얼마나 더 뛰어난 내성적 저항성을 보이는가?

주요 결과

• 제안된 알고리즘은 편향된 게임과 편향이 없는 게임 모두에서 표준 CFR+ 및 EGT 알고리즘과 유사한 수렴 속도를 보인다.
• 이 방법은 특히 광범위형 완전 균형(EFPE) 근사에 있어 표준 CFR+보다 수개의 주기만큼 훨씬 뛰어난 정밀도 성질을 갖는 전략을 생성한다.
• 회귀 업데이트 메커니즘이 원래 게임의 순수 행동 회귀로 표현되어 있어 효율적인 계산이 가능하며, 점근적 오버헤드가 없다.
• 행동 제약 조건이 더 이상 진전을 가능하게 하지 못할 때에도 알고리즘이 수렴을 유지함으로써 제약 조건 포화에 대한 강건성을 보여준다.
• 이 프레임워크는 행동 편향과 근사 EFPE 간의 공식적 연결 고리를 설정하여 이론적으로 접근의 타당성을 입증한다.
• 실험 결과는 편향된 CFR+의 변형이 정밀도 향상은 유지하면서도 실용적인 수렴 속도를 그대로 유지함을 보여준다.