[논문 리뷰] Fast Policy Extragradient Methods for Competitive Games with Entropy Regularization

Shicong Cen, Yuting Wei외 1명|arXiv (Cornell University)|2021. 05. 31.

Advanced Bandit Algorithms Research참고 문헌 48인용 수 10

한 줄 요약

이 논문은 경쟁적 게임에서 균형을 계산하기 위해 엔트로피 정규화를 통한 증거 가능하게 효율적인 외거산 방법을 제안한다. 이는 제로섬 행렬 게임에서 양자응답균형(QRE)으로 선형 수렴 속도를 달성하고, 정규화되지 않은 게임에서는 근사 넷저균형(NE)으로 비선형 수렴 속도를 달성한다. 알고리즘은 각 플레이어의 자체 수익에 기반한 분산형, 대칭형, 곱셈형 업데이트를 사용하여 상태 공간과 행동 공간 크기의 상관없이 로그 인자까지는 거의 차원에 의존하지 않는 수렴 속도를 달성한다.

ABSTRACT

This paper investigates the problem of computing the equilibrium of competitive games, which is often modeled as a constrained saddle-point optimization problem with probability simplex constraints. Despite recent efforts in understanding the last-iterate convergence of extragradient methods in the unconstrained setting, the theoretical underpinnings of these methods in the constrained settings, especially those using multiplicative updates, remain highly inadequate, even when the objective function is bilinear. Motivated by the algorithmic role of entropy regularization in single-agent reinforcement learning and game theory, we develop provably efficient extragradient methods to find the quantal response equilibrium (QRE) -- which are solutions to zero-sum two-player matrix games with entropy regularization -- at a linear rate. The proposed algorithms can be implemented in a decentralized manner, where each player executes symmetric and multiplicative updates iteratively using its own payoff without observing the opponent's actions directly. In addition, by controlling the knob of entropy regularization, the proposed algorithms can locate an approximate Nash equilibrium of the unregularized matrix game at a sublinear rate without assuming the Nash equilibrium to be unique. Our methods also lead to efficient policy extragradient algorithms for solving (entropy-regularized) zero-sum Markov games at similar rates. All of our convergence rates are nearly dimension-free, which are independent of the size of the state and action spaces up to logarithm factors, highlighting the positive role of entropy regularization for accelerating convergence.

연구 동기 및 목표

• 제약 조건이 있는 경쟁적 게임에서 외거산 방법의 이론적 이해 부족, 특히 곱셈형 업데이트에 대해 해결하고자 한다.
• 엔트로피 정규화를 통한 제로섬 행렬 게임에서의 양자응답균형(QRE)을 계산하기 위한 증명 가능한 효율적 알고리즘을 개발하고자 한다.
• 각 플레이어가 상대방의 행동을 관측하지 않더라도 자신의 수익만으로도 분산형, 대칭형 정책 업데이트를 가능하게 하고자 한다.
• 정규화되지 않은 행렬 게임에서 근사 넷저균형(NE)으로 빠른 수렴을 달성하고, 균형의 유일성을 가정하지 않도록 하고자 한다.
• 유사한 수렴 보장을 갖는다면, 엔트로피 정규화가 적용된 제로섬 마르코프 게임로 프레임워크를 확장하고자 한다.

제안 방법

• 엔트로피 정규화된 수익 기울기 기반의 곱셈형 업데이트를 사용하는 두 가지 외거산 방법인 정책 업데이트(PU)와 낙관적 곱셈 가중치 업데이트(OMWU)를 제안한다.
• 학습을 안정화하고 이중선형 구조를 유지하기 위해 엔트로피 정규화를 적용하여 수렴 보장을 보장한다.
• 새로운 분석 프레임워크를 도입하여 단일 반복 수렴 속도로 QRE에 도달함을 증명하며, 정규화된 목적함수와 단형형 제약 조건을 고려한다.
• 정책 업데이트에 따른 가치 함수 변화를 제한하기 위해 마르코프 게임에 대해 성능 차이 보조정리를 도입하여 수렴 분석을 가능하게 한다.
• 확률 단형형 제약 조건을 다루기 위해 정책의 로그 변환을 사용하고, 강凸성에 기반한 안정성 한계를 유도한다.
• 엔트로피 정규화 매개변수를 제어하여 거의 차원에 의존하지 않는 수렴 속도를 확립함으로써, 상태 공간과 행동 공간 크기의 영향을 최소화한다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화를 통한 외거산 방법은 제약 조건이 있고, 이중선형인 제로섬 행렬 게임에서 양자응답균형(QRE)으로 선형 수렴을 달성할 수 있는가?
• RQ2 엔트로피 정규화는 상대방의 행동을 관측하지 않더라도 분산형, 대칭형 정책 업데이트를 가능하게 하는가?
• RQ3 제안된 방법은 균형의 유일성을 가정하지 않고 정규화되지 않은 행렬 게임에서 근사 넷저균형(NE)으로 비선형 수렴 속도를 달성할 수 있는가?
• RQ4 엔트로피 정규화는 마르코프 게임에서 수렴 속도를 가속화하는 데 어떤 역할을 하는가? 그리고 상태 공간과 행동 공간 크기와의 스케일링 관계는 어떻게 되는가?
• RQ5 유사한 수렴 속도를 갖는다면, 수렴 보장이 엔트로피 정규화가 적용된 제로섬 마르코프 게임로 확장될 수 있는가?

주요 결과

• 제안된 PU 및 OMWU 알고리즘은 엔트로피 정규화가 적용된 제로섬 행렬 게임에서 양자응답균형(QRE)으로 선형 수렴 속도를 달성한다.
• 수렴 속도는 거의 차원에 의존하지 않으며, ε-정확도에서 O(log n / ε)의 스케일을 보이며, 상태 공간과 행동 공간 크기의 영향을 최소화한다.
• 엔트로피 정규화 매개변수를 조절함으로써, 균형의 유일성을 가정하지 않고도 정규화되지 않은 행렬 게임에서 근사 넷저균형(NE)으로 비선형 수렴 속도를 달성할 수 있다.
• 이 방법들은 분산형이며 대칭적이며, 각 플레이어가 상대방의 행동을 관측하지 않더라도 자신의 수익만으로도 업데이트할 수 있다.
• 엔트로피 정규화가 적용된 제로섬 마르코프 게임에서는 정책 외거산 방법이 유사한 거의 차원에 의존하지 않는 속도로 근사 넷저균형으로 최종 반복 수렴을 달성한다.
• 이론적 분석을 통해 로그 정책 변환과 엔트로피 기반 정규성에 기반한 정책 및 가치 함수 변화의 리프시츠 유형 경계를 확립한다.