[논문 리뷰] Learning Zero-Sum Simultaneous-Move Markov Games Using Function Approximation and Correlated Equilibrium

Qiaomin Xie, Yudong Chen외 2명|arXiv (Cornell University)|2020. 02. 17.

Reinforcement Learning in Robotics참고 문헌 87인용 수 5

한 줄 요약

이 논문은 선형 함수 근사 하에서 동시 행동을 하는 두 명의 플레이어로 구성된 제로섬 마르코프 게임에 대해, 처음으로 이론적으로 효율적인 강화학습 알고리즘을 제안한다. 이는 탐색을 가능하게 하기 위해 상관 균형(correlated equilibrium)을 사용하는 낙관적 최소최대 값 반복 알고리즘을 도입하여, 추가적인 샘플링 가정 없이 $×sim O(\sqrt{d^3 H^3 T})$의 위험도 및 이중성 갭 경계를 달성한다.

ABSTRACT

We develop provably efficient reinforcement learning algorithms for two-player zero-sum finite-horizon Markov games with simultaneous moves. To incorporate function approximation, we consider a family of Markov games where the reward function and transition kernel possess a linear structure. Both the offline and online settings of the problems are considered. In the offline setting, we control both players and aim to find the Nash Equilibrium by minimizing the duality gap. In the online setting, we control a single player playing against an arbitrary opponent and aim to minimize the regret. For both settings, we propose an optimistic variant of the least-squares minimax value iteration algorithm. We show that our algorithm is computationally efficient and provably achieves an $ ilde O(\sqrt{d^3 H^3 T} )$ upper bound on the duality gap and regret, where $d$ is the linear dimension, $H$ the horizon and $T$ the total number of timesteps. Our results do not require additional assumptions on the sampling model. Our setting requires overcoming several new challenges that are absent in Markov decision processes or turn-based Markov games. In particular, to achieve optimism with simultaneous moves, we construct both upper and lower confidence bounds of the value function, and then compute the optimistic policy by solving a general-sum matrix game with these bounds as the payoff matrices. As finding the Nash Equilibrium of a general-sum game is computationally hard, our algorithm instead solves for a Coarse Correlated Equilibrium (CCE), which can be obtained efficiently. To our best knowledge, such a CCE-based scheme for optimism has not appeared in the literature and might be of interest in its own right.

연구 동기 및 목표

• 복잡하고 고차원적인 환경에서 함수 근사를 사용하는 다중 에이전트 강화학습에 대한 이론적 보장의 부족을 해결한다.
• 환경의 전이 모델이나 샘플링 오라클에 접근할 수 없는 두 명의 플레이어로 구성된 제로섬 마르코프 게임에 대해, 이론적으로 효율적인 알고리즘을 개발한다.
• 동시 행동 환경에서의 탐색과 낙관적 전략 수립의 과제를 해결하기 위해, 가치 함수에 대한 상한 및 하한 신뢰 구간을 구축한다.
• 선형 구조 하에서 오프라인(네쉬 균형을 통한 이중성 갭 최소화) 및 온라인(위험도 최소화) 환경 모두에서 효율적인 학습을 가능하게 한다.
• 계산적으로 어려운 네쉬 균형 문제를 해결하는 대신, 이론적 보장을 유지하면서도 효율적인 CCE 기반 낙관적 메커니즘을 제안한다.

제안 방법

• 신뢰 구간을 포함한 최소 제곱 추정을 사용하여 가치 함수를 학습하는 낙관적 최소최대 값 반복(OMNI-VI) 알고리즘을 제안한다.
• 동시 행동 환경에서의 낙관적 전략 수립을 가능하게 하기 위해 가치 함수에 대한 상한 및 하한 신뢰 구간을 구축한다.
• 신뢰 구간 행렬을 수익으로 사용하는 일반합 행렬 게임 설정을 통해 낙관적 정책을 계산한다.
• 계산적으로 비효율적인 네쉬 균형 계산을 대체하기 위해, 계산적으로 효율적이고 유한한 변화에 대해 안정적인 근사 상관 균형(CCE) 해법을 사용한다.
• 전이 커널과 보상 함수에 선형 구조를 활용하며, 알려진 $d$차원 특징 매핑으로 매개변수화한다.
• 연속적인 가중치 벡터를 $×varepsilon / \sqrt{d}$ 이내의 오차로 근사하기 위한 이산화 기법을 적용하여 고차원 공간에서의 효율적 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 선형 함수 근사 하에서 동시 행동을 하는 제로섬 마르코프 게임에 대해, 이론적으로 효율적인 강화학습 알고리즘을 설계할 수 있는가?
• RQ2 표준 값 반복이 순차적 구조가 없어 실패하는 동시 행동 게임에서 낙관적 전략을 효과적으로 구현할 수 있는가?
• RQ3 네쉬 균형의 계산 비용이 높은 문제를 해결하기 위해, 근사 상관 균형(CCE)을 낙관적 정책 수립의 실용적 대안으로 사용할 수 있는가?
• RQ4 추가적인 샘플링 가정 없이 이러한 환경에서 달성 가능한 최적의 위험도 및 이중성 갭 경계는 무엇인가?
• RQ5 수익 행렬에 대한 변화에 대해 CCE 값은 얼마나 안정적인가? 이는 알고리즘의 이론적 보장에 영향을 미치는가?

주요 결과

• 제안된 OMNI-VI 알고리즘은 온라인 환경에서의 위험도 및 오프라인 환경에서의 이중성 갭에 대해 $×sim O(\sqrt{d^3 H^3 T})$의 상한 경계를 달성한다.
• 알고리즘은 계산적으로 효율적이며, 샘플링 오라클이나 모델 추정에 대한 접근이 필요 없어 고차원 환경에 적합하다.
• 네쉬 균형 대신 CCE를 사용함으로써, 이론적 성능 보장을 유지하면서도 정책 계산을 효율적으로 수행할 수 있다.
• 논문은 CCE의 값이 수익 행렬의 변화에 대해 리프시츠 연속적이지 않음을 입증하여 안정성 분석에서의 핵심 과제를 드러낸다.
• 반례를 통해 수익 행렬의 미세한 변화가 CCE 결과에 큰 영향을 줄 수 있음을 보여주지만, 알고리즘은 신뢰 구간 구성 덕분에 여전히 강건함을 유지한다.
• 가중치 벡터의 이산화로 인해 근사 오차가 $\epsilon / \sqrt{d}$ 이내로 제한되며, 이는 고차원 선형 모델에서의 효율적 구현을 가능하게 한다.