[논문 리뷰] Efficient Regret Minimization Algorithm for Extensive-Form Correlated Equilibrium

Gabriele Farina, Chun Kai Ling외 2명|arXiv (Cornell University)|2019. 10. 28.

Game Theory and Applications인용 수 5

한 줄 요약

이 논문은 확장형 상호의존 균형(EFCE)을 계산하기 위한 첫 번째 효율적인 위험 최소화 알고리즘을 제안한다. 이는 확장형 이벤트가 없는 큰 두 명의 일반합 게임에서 적용 가능하다. '스케일드 확장'(scaled extension)이라는 새로운 구조적 분해 기법을 활용함으로써, 이 알고리즘은 상관 계획 다면체를 점진적으로 구성하며, 비계층적이고 순환적인 제약 조건에서도 선형 시간 내에 위험 최소화를 가능하게 한다. 이는 기존의 선형계획법(LP) 및 서브기울기 기반 방법보다 큰 규모의 게임에서 뛰어난 성능을 보인다.

ABSTRACT

Self-play methods based on regret minimization have become the state of the art for computing Nash equilibria in large two-players zero-sum extensive-form games. These methods fundamentally rely on the hierarchical structure of the players' sequential strategy spaces to construct a regret minimizer that recursively minimizes regret at each decision point in the game tree. In this paper, we introduce the first efficient regret minimization algorithm for computing extensive-form correlated equilibria in large two-player general-sum games with no chance moves. Designing such an algorithm is significantly more challenging than designing one for the Nash equilibrium counterpart, as the constraints that define the space of correlation plans lack the hierarchical structure and might even form cycles. We show that some of the constraints are redundant and can be excluded from consideration, and present an efficient algorithm that generates the space of extensive-form correlation plans incrementally from the remaining constraints. This structural decomposition is achieved via a special convexity-preserving operation that we coin scaled extension. We show that a regret minimizer can be designed for a scaled extension of any two convex sets, and that from the decomposition we then obtain a global regret minimizer. Our algorithm produces feasible iterates. Experiments show that it significantly outperforms prior approaches and for larger problems it is the only viable option.

연구 동기 및 목표

• 확장형 상호의존 균형(EFCE)을 계산하기 위한 효율적인 위험 최소화 알고리즘을 개발한다. 이는 확장형 이벤트가 없는 큰 두 명의 일반합 게임에 적용된다.
• 전통적인 위험 최소화를 방해하는 상관 계획 다면체 내의 비계층적이고 순환적인 제약 조건 문제를 해결한다.
• 게임의 관련 시퀀스 쌍의 수에 비례하는 선형 시간 내에서 작동하는 위험 최소화기를 설계한다.
• 상관 계획 다면체 내의 중복 제약 조건은 구조적 분해를 통해 제거될 수 있음을 입증한다.
• 기존의 LP 기반 및 서브기울기 강하법에 비해 확장 가능한 대안을 제공한다. 이는 큰 게임에서 실패하는 경향이 있다.

제안 방법

• '스케일드 확장' 연산을 도입한다. 이는 볼록성을 유지하는 변환으로, 분해된 볼록 집합 위에서 위험 최소화를 가능하게 한다.
• 확장형 상관 계획 다면체를 FillSimplex 및 SumSimplex 연산의 시퀀스로 분해한다. 이는 국소 단체 제약 조건을 나타낸다.
• 각 단체 영역에 국소 위험 최소화기(FTRL 또는 미러 강하 등)를 적용하는 재귀적 위험 최소화기를 활용하며, 손실과 추천을 연산 체인을 따라 전파한다.
• 일致성을 확보하기 위해 손실 관찰(ObserveLoss)과 추천(Recommend)의 후행 및 전행 순서를 사용한다. 이는 타당한 반복 해를 유지한다.
• 각 국소 위험 최소화기의 국소 위험 합의 상한으로 이루어진 위험 경계를 설계함으로써, EFCE 수렴을 보장한다.
• 게임에 적용하기 위해 연산의 순서를 역순으로 순회하며, 선형 시간 내 상태를 유지한다.

실험 결과

연구 질문

• RQ1 상관 제약 조건이 계층적일 필요가 없는 일반합 게임에서, 확장형 상호의존 균형(EFCE)에 대해 위험 최소화를 효율적으로 적용할 수 있는가?
• RQ2 확장형 상관 계획 다면체 내에 제거 가능한 중복 제약 조건이 존재하는가?
• RQ3 '스케일드 확장'과 같은 볼록성 유지 연산이 복잡하고 비계층적인 제약 집합 위에서 효율적인 위험 최소화를 가능하게 하는가?
• RQ4 제안된 알고리즘이 기존의 LP 기반 및 서브기울기 강하법에 비해 확장성과 타당성 측면에서 큰 게임에서 뛰어난 성능을 보이는가?
• RQ5 큰 규모의 게임에서 타당한 반복 해를 유지하면서 낮은 위험을 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 관련 시퀀스 쌍의 수에 비례하는 선형 시간 내에서 실행되며, 이는 큰 게임에 대한 확장성을 보장한다.
• 기존의 서브기울기 강하법(Farina et al., 2019c)이 타당성 문제를 겪는 것과 달리, 알고리즘은 매 단계에서 타당한 반복 해를 생성한다.
• 실험 결과, von Stengel & Forges (2008)의 LP 기반 접근법과 Farina et al. (2019c)의 서브기울기 강하법보다 뚜렷이 뛰어난 성능을 보이며, 특히 큰 게임에서 두드러진다.
• 스케일드 확장 연산은 볼록성을 유지하면서 비계층적이고 순환적인 제약 조건의 구조 위에서 위험 최소화를 가능하게 하며, 모듈러한 설계를 가능하게 한다.
• FillSimplex 및 SumSimplex 연산을 통한 구조적 분해 덕분에, 국소 위험 최소화기의 누적 위험 상한이 유한한 조건에서 전역 위험 최소화기를 구성할 수 있다.
• 큰 게임에서는 기존의 방법들이 높은 계산 비용이나 타당성 문제로 인해 확장에 실패하는 데 반해, 제안된 알고리즘이 유일한 실현 가능한 선택이 된다.