[논문 리뷰] Smoothing Method for Approximate Extensive-Form Perfect Equilibrium

Christian Kroer, Gabriele Farina외 1명|arXiv (Cornell University)|2017. 05. 25.

Artificial Intelligence in Games참고 문헌 19인용 수 5

한 줄 요약

이 논문은 대규모 두 명의 플레이어 제로섬 확장형 게임에서 일阶 방법(FOMs)을 사용하여 근사적인 광범위형 완전 균형(EFPE)을 계산하기 위한 스무딩 방법을 제안한다. 행동 전략에 대한 변형된 엔트로피 기반 스무딩 기법을 적용함으로써, 표준 내쉬 균형 해법기와 유사한 수렴 속도를 확보하면서도 낮은 확률의 정보집합에서의 위험을 크게 감소시켜, 균형 외 경로에서의 성능을 향상시킨다.

ABSTRACT

Nash equilibrium is a popular solution concept for solving imperfect-information games in practice. However, it has a major drawback: it does not preclude suboptimal play in branches of the game tree that are not reached in equilibrium. Equilibrium refinements can mend this issue, but have experienced little practical adoption. This is largely due to a lack of scalable algorithms. Sparse iterative methods, in particular first-order methods, are known to be among the most effective algorithms for computing Nash equilibria in large-scale two-player zero-sum extensive-form games. In this paper, we provide, to our knowledge, the first extension of these methods to equilibrium refinements. We develop a smoothing approach for behavioral perturbations of the convex polytope that encompasses the strategy spaces of players in an extensive-form game. This enables one to compute an approximate variant of extensive-form perfect equilibria. Experiments show that our smoothing approach leads to solutions with dramatically stronger strategies at information sets that are reached with low probability in approximate Nash equilibria, while retaining the overall convergence rate associated with fast algorithms for Nash equilibrium. This has benefits both in approximate equilibrium finding (such approximation is necessary in practice in large games) where some probabilities are low while possibly heading toward zero in the limit, and exact equilibrium computation where the low probabilities are actually zero.

연구 동기 및 목표

• 확장형 게임에서 내쉬 균형의 한계를 해결하기 위해, 게임 트리의 도달하지 않은 부분에서 전략이 열악하게 작동할 수 있음을 고려한다.
• 이전에는 내쉬 균형 계산에만 사용된 확장 가능한 일阶 방법을, 광범위형 완전 균형(EFPE)과 같은 균형 정밀화를 계산할 수 있도록 확장한다.
• 대규모 게임에서 근사적 EFPE를 효율적으로 계산할 수 있도록 하되, 표준 FOMs의 수렴 속도를 유지하는 스무딩 기법을 개발한다.
• 실험적으로, 이 방법이 전체 수렴 속도를 희생시키지 않고 낮은 확률의 정보집합에서 최대 위험을 감소시킴을 검증한다.

제안 방법

• 모든 행동이 최소 확률 ξ로 선택되도록 행동 전략 공간에 매개변수 ξ를 사용한 펌정을 도입함으로써, 확률이 0이 되는 문제를 방지한다.
• 확장된 엔트로피 함수 기반의 스무딩 프레임워크를 변형된 전략 다면체에 적용하여, 미분 가능한 최적화를 가능하게 한다.
• 스무딩 및 펌정된 게임에 대해 일阶 방법(E.g., EGT)을 적용함으로써, 표준 FOMs와 동일한 선형 시간 반복 비용과 수렴 속도를 유지한다.
• 수렴 속도와 정밀도의 균형을 맞추기 위해 ξ를 동적으로 조정할 수 있는 스무딩 기법을 도입한다.
• 모든 정보집합이 확률 1로 도달한다고 가정하고 베이즈의 정리를 사용하여 정보집합 위험을 계산함으로써 정밀도 평가를 가능하게 한다.
• 기존의 EFG에 대한 DGF(이중 기울기 흐름) 구성 기법을 활용하여, ξ > 0 조건 하의 펌정된 전략 공간을 다룰 수 있도록 확장한다.

실험 결과

연구 질문

• RQ1 일阶 방법은 대규모 게임에서 근사적 광범위형 완전 균형을 효과적으로 계산할 수 있는가?
• RQ2 행동 전략 펌정(ξ를 통해)이 확장형 게임에서 일阶 방법의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 표준 내쉬 균형 해법기와 비교해 낮은 확률의 정보집합에서 최대 위험을 얼마나 감소시키는가?
• RQ4 실제로 정밀도와 수렴 속도의 균형을 맞추기 위해 최적의 ξ 범위는 무엇인가?
• RQ5 이 방법은 최첨단 내쉬 균형 해법기와 유사한 성능을 내면서도, 균형 외 영역에서의 강건성을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 표준 일阶 방법과 유사한 수렴 속도를 확보하며, 실용적 성능에 유의미한 손실 없이 구현된다.
• ξ ∈ [0.005, 0.01] 범위에서, CFR+나 펌정되지 않은 EGT와 비교해 낮은 확률의 정보집합에서 최대 위험이 크게 감소한 해에 수렴한다.
• 낮은 확률로 도달하는 정보집합에서 최대 위험은 기존 방법 대비 최대 두 자리 수준 감소된다.
• 펌정 매개변수 ξ는 결정적인 영향을 미친다: ξ = 0.1 또는 0.05일 경우 과도한 강제 행동으로 인해 위험이 증가하지만, ξ = 0.001일 경우 수렴 속도가 너무 느려진다.
• 전체 수렴 속도를 떨어뜨리지 않으면서도 낮은 확률 영역에서 뛰어난 성능을 발휘하므로, 대규모 게임에서의 근사 균형 계산에 적합하다.
• 정확한 계산이 불가능한 대규모 게임에서 정밀한 균형을 계산하는 실용적인 길을 제공한다.