[논문 리뷰] No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium

Andrea Celli, Alberto Marchesi외 2명|arXiv (Cornell University)|2020. 04. 01.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 16

한 줄 요약

이 논문은 일반합(n-player) 완전기억(perfect recall)을 가진 일반합 광역형 게임에서 광역형 상관균형(EFCE)으로 수렴하는 최초의 비연결(no-regret) 학습 동역학인 ICFR를 소개한다. 트리거 리그레트(trigger regret)를 정의하고 각 정보집합에서 국소적으로 분해함으로써, 효율적이고 탈중앙화된 학습이 가능해지며, 이는 점차적으로 높은 확률로 EFCE를 달성한다. 이는 하트(Hart)와 마스-콜렐(Mas-Colell)의 정규형 게임 결과를 순차적이고 정보가 불완전한 게임으로 일반화한 것이다.

ABSTRACT

The existence of simple, uncoupled no-regret dynamics that converge to correlated equilibria in normal-form games is a celebrated result in the theory of multi-agent systems. Specifically, it has been known for more than 20 years that when all players seek to minimize their internal regret in a repeated normal-form game, the empirical frequency of play converges to a normal-form correlated equilibrium. Extensive-form (that is, tree-form) games generalize normal-form games by modeling both sequential and simultaneous moves, as well as private information. Because of the sequential nature and presence of partial information in the game, extensive-form correlation has significantly different properties than the normal-form counterpart, many of which are still open research directions. Extensive-form correlated equilibrium (EFCE) has been proposed as the natural extensive-form counterpart to normal-form correlated equilibrium. However, it was currently unknown whether EFCE emerges as the result of uncoupled agent dynamics. In this paper, we give the first uncoupled no-regret dynamics that converge to the set of EFCEs in $n$-player general-sum extensive-form games with perfect recall. First, we introduce a notion of trigger regret in extensive-form games, which extends that of internal regret in normal-form games. When each player has low trigger regret, the empirical frequency of play is close to an EFCE. Then, we give an efficient no-trigger-regret algorithm. Our algorithm decomposes trigger regret into local subproblems at each decision point for the player, and constructs a global strategy of the player from the local solutions at each decision point.

연구 동기 및 목표

• 비연결 no-regret 학습 동역학이 일반합 광역형 게임에서 EFCE로 수렴할 수 있는지에 대한 이해 격차를 메우는 것.
• 정규형 게임에서의 획기적인 no-regret 수렴 결과를 더 복잡한 순차적이고 정보가 불완전한 게임 환경으로 확장하는 것.
• 트리거 리그레트를 최소화하고 EFCE로의 수렴을 보장하는 효율적이고 탈중앙화된 학습 알고리즘을 개발하는 것.
• EFCE에 대해 유한시간 내 고확률 수렴 한계를 제공함으로써 이전의 거의 확실 수렴 결과를 강화하는 것.

제안 방법

• 광역형 게임에 특화된 새로운 트리거 리그레트 개념을 도입하여, 정규형 게임에서의 내부 리그레트(internal regret)를 일반화한다.
• 각 플레이어의 정보집합에서 트리거 리그레트를 국소 하위문제로 분해하여 분산 계산을 가능하게 한다.
• 각 정보집합의 리그레트 최소화기에서의 국소 해를 집계하여 전역 전략을 구성한다.
• 각 정보집합에서 내부 및 외부 리그레트 최소화기를 조합하여 트리거 리그레트를 제어한다.
• 각 라운드에서 하나의 리그레트 최소화기를 사용함으로써 전역 수렴을 유지할 수 있도록 학습 과정을 조율한다.
• 알고리즘을 phi-리그레트 최소화 프레임워크 내에 구현하여 이론적 보장을 통합하고 강화한다.

실험 결과

연구 질문

• RQ1 비연결 no-regret 학습 동역학은 일반합 광역형 게임에서 EFCE로 수렴할 수 있는가?
• RQ2 내부 리그레트는 광역형 게임의 순차적이고 정보가 불완전한 환경으로 어떻게 일반화될 수 있는가?
• RQ3 트리거 리그레트를 최소화하고 EFCE로의 수렴을 보장하는 탈중앙화되고 효율적인 알고리즘을 설계할 수 있는가?
• RQ4 이러한 동역학 하에서 EFCE에 대해 어떤 유한시간 수렴 보장을 제공할 수 있는가?

주요 결과

• ICFR는 시행 빈도의 경험적 분포가 한계에서 EFCE로 거의 확실히 수렴함을 보장한다.
• 알고리즘은 EFCE에 대해 고확률 유한시간 수렴 한계를 제공하며, 이는 컆퍼런스 버전의 점근적 보장보다 중대한 개선이다.
• ICFR는 정보집합 수가 9,000개가 넘고 두 번의 베팟 라이믹스를 가진 복잡한 레두크 포커 인스턴스에서 9시간 이내에 ε-EFCE를 달성하며, 이는 이전 방법이 24시간 내에 ε=0.1에도 도달하지 못한 것과 대비된다.
• 편향을 벗어나려는 유인에 대한 수렴 속도는 EFCE, EFCCE, NFCCE 모두 유사하여, ICFR가 다양한 상관균형 개념에 대해 강건함을 시사한다.
• 이 방법은 하트와 마스-콜렐의 no-regret 동역학을 순차적 경우로 일반화하여, 광역형 게임에서 학습 동역학과 상관균형 간의 기초적 연결 고리를 확립한다.