[논문 리뷰] Stable-Predictive Optimistic Counterfactual Regret Minimization

Gabriele Farina, Christian Kroer외 2명|arXiv (Cornell University)|2019. 02. 13.

Advanced Bandit Algorithms Research인용 수 10

한 줄 요약

이 논문은 확장형 게임에서의 대비적 위험 최소화 프레임워크에 안정적 예측 최적화 회귀 최소화를 통합함으로써 $O(T^{-3/4})$ 수렴 속도를 달성하는 새로운 CFR 변종을 제안한다. 지역적 위험 최소화기의 안정성에 대해 决책 트리 내 위치에 따라 정교하게 校정하고 OFTRL 업데이트를 활용함으로써, 기존의 $O(T^{-1/2})$ 수렴 장벽을 뛰어넘으면서도 이론적 보장을 유지하면서 일부 하위게임에서 기존 CFR보다 향상된 성능을 보인다.

ABSTRACT

The CFR framework has been a powerful tool for solving large-scale extensive-form games in practice. However, the theoretical rate at which past CFR-based algorithms converge to the Nash equilibrium is on the order of $O(T^{-1/2})$, where $T$ is the number of iterations. In contrast, first-order methods can be used to achieve a $O(T^{-1})$ dependence on iterations, yet these methods have been less successful in practice. In this work we present the first CFR variant that breaks the square-root dependence on iterations. By combining and extending recent advances on predictive and stable regret minimizers for the matrix-game setting we show that it is possible to leverage "optimistic" regret minimizers to achieve a $O(T^{-3/4})$ convergence rate within CFR. This is achieved by introducing a new notion of stable-predictivity, and by setting the stability of each counterfactual regret minimizer relative to its location in the decision tree. Experiments show that this method is faster than the original CFR algorithm, although not as fast as newer variants, in spite of their worst-case $O(T^{-1/2})$ dependence on iterations.

연구 동기 및 목표

• CFR 알고리즘의 이론적 한계를 해결하기 위해, 실용적 성공에도 불구하고 $O(T^{-1/2})$ 속도로 수렴하는 문제를 해결한다.
• 일阶 방법의 이론적 수렴 속도($O(T^{-1})$)와 실용적 CFR 변종의 수렴 속도($O(T^{-1/2})$) 사이의 격차를 해소한다.
• 기존 CFR보다 더 빠른 수렴 속도를 확보하면서도 실용적이고 안정적인 CFR 변종을 개발한다.
• 확장형 게임의 맥락에서 안정적 예측성의 개념을 체계화하고 적용하여 위험 최소화를 향상시킨다.

제안 방법

• 확장형 게임에서의 대비적 위험 최소화기에게 특화된 안정적 예측성의 새로운 개념을 도입한다.
• 각 정보집합에 대해 안정성 매개변수를 결책 트리의 깊이에 따라 설정한 OFTRL 위험 최소화기를 적용한다.
• 행렬 게임 설정에서 유래한 예측적이고 안정적인 위험 최소화 기법을 확장형 게임의 순차적 의사결정 구조로 확장한다.
• 엔트로피 정규화와 단계 크기 선택을 이론적 분석에 따라 이끌어내는 이중 노름 프레임워크를 적용한다.
• 다양한 게임 하위게임에서의 실용적 성능을 평가하기 위해 동시에 및 번갈아가며 업데이트 전략을 모두 활용한다.
• 이론적 설정이 너무 보수적으로 작용한 더 큰 하위게임에서는 단계 크기 매개변수를 경험적으로 校정한다.

실험 결과

연구 질문

• RQ1 CFR 변종이 이론적 안정성과 예측 가능성을 유지하면서도 $O(T^{-1/2})$ 수렴 속도를 초월하는 성능을 달성할 수 있는가?
• RQ2 행렬 게임에서의 최적화된 위험 최소화 원리가 확장형 게임의 계층적 구조로 어떻게 확장될 수 있는가?
• RQ3 결책 트리 내 정보집합의 깊이가 그 지역적 위험 최소화기의 필요 안정성에 어떤 영향을 미치는가?
• RQ4 안정적 예측성 위험 최소화기의 통합이 실용적 EFG 하위게임에서 기존 CFR에 비해 측정 가능한 성능 향상을 이끌어낼 수 있는가?
• RQ5 왜 일부 $O(T^{-1})$ 수렴 속도를 가진 방법들은 이론적으로는 우수한데도 실무에서는 성능이 열 劣하는가?

주요 결과

• 제안된 OFTRL 기반의 CFR 변종은 이론적으로 $O(T^{-3/4})$ 수렴 속도를 확보하여 전통적인 CFR의 $O(T^{-1/2})$ 장벽을 돌파한다.
• 작은 하위게임(3 및 4)에서는 이론적으로 유도된 단계 크기가 기존 CFR보다 더 빠른 수렴을 이끌었으며, 하위게임 4에서는 OFTRL이 시작 단계부터 CFR를 능가했다.
• 더 큰 하위게임(1 및 2)에서는 이론적으로 최적의 단계 크기가 너무 보수적이었지만, 수동으로 조정한 단계 크기(100분의 1로 나누기)가 CFR보다 뚜렷한 향상을 이끌었다.
• 번갈아가며 업데이트하는 설정에서는 OFTRL이 CFR 및 DCFR에 비해 성능이 열 劣하여 업데이트 전략에 민감한 것으로 나타났다.
• 할인 CFR(DCFR)는 모든 설정에서 모든 변종을 능가했으며, 이론적 및 조정된 OFTRL을 포함하여 모든 경우에서 우월한 성능을 보였다. 이는 $O(T^{-1/2})$ 최악의 경우 수렴 속도를 가진다 해도 실무에서의 우월성을 확인한다.
• 결과적으로, 최적화된 위험 최소화를 통한 CFR의 이론적 수렴 속도 향상이 가능하며, 실무 성능은 단계 크기 조정과 업데이트 전략에 매우 민감하게 영향을 받는다.