[논문 리뷰] Almost Optimal Algorithms for Two-player Markov Games with Linear Function Approximation.

Zixiang Chen, Dongruo Zhou외 1명|arXiv (Cornell University)|2021. 02. 15.

Reinforcement Learning in Robotics참고 문헌 49인용 수 4

한 줄 요약

이 논문은 선형 함수 근사가 적용된 이인자 제로섬 마르코프 게임에 대한 낙관적 강화 학습 알고리즘인 Nash-UCRL-VTR을 제안한다. 이 알고리즘은 선형 전이 모델 하에서 나시 균형을 학습하는 데 있어 거의 최적의 $˜{O}(dH\sqrt{T})$ 근접도를 달성하며, 이는 상응하는 하한선과 일치함을 보여, 근접도 최적성의 증명을 제공한다.

ABSTRACT

We study reinforcement learning for two-player zero-sum Markov games with simultaneous moves in the finite-horizon setting, where the transition kernel of the underlying Markov games can be parameterized by a linear function over the current state, both players' actions and the next state. In particular, we assume that we can control both players and aim to find the Nash Equilibrium by minimizing the duality gap. We propose an algorithm Nash-UCRL-VTR based on the principle Optimism-in-Face-of-Uncertainty. Our algorithm only needs to find a Coarse Correlated Equilibrium (CCE), which is computationally very efficient. Specifically, we show that Nash-UCRL-VTR can provably achieve an $ ilde{O}(dH\sqrt{T})$ regret, where $d$ is the linear function dimension, $H$ is the length of the game and $T$ is the total number of steps in the game. To access the optimality of our algorithm, we also prove an $ ilde{\Omega}( dH\sqrt{T})$ lower bound on the regret. Our upper bound matches the lower bound up to logarithmic factors, which suggests the optimality of our algorithm.

연구 동기 및 목표

• 동시 이동을 허용하는 이인자 제로섬 마르코프 게임에서 나시 균형을 학습하기 위한 증명 가능하게 효율적인 알고리즘을 개발하는 것.
• 전이 커널이 상태, 행동, 다음 상태에 대해 선형적으로 파arameterized된 환경을 다루는 것.
• 불확실성에 직면했을 때 낙관주의를 활용하여 이중성 갭을 최소화하는 것.
• 오직 Coarse Correlated Equilibrium 계산에 의존함으로써 계산 효율성을 보장하는 것.
• 정보 이론적 하한선에 대해 로그 인자까지 정확하게 일치하는 날카운 감소한 근접도를 확립하는 것.

제안 방법

• 알고리즘은 탐색과 이용의 균형을 이루기 위해 불확실성에 대한 낙관주의 원칙(Optimism-in-Face-of-Uncertainty, OFU)을 적용한다.
• 전이 커널을 상태, 양 측의 행동, 다음 상태의 선형 함수로 모델링하기 위해 선형 함수 근사를 사용한다.
• 각 단계에서 Coarse Correlated Equilibrium(CCE)를 계산하며, 이는 계산적으로 효율적이며 나시 균형 수렴에 충분하다.
• 탐색을 안내하기 위해 가치 함수 추정치에 대한 신뢰 구간을 유지한다.
• 근접도를 최소화하기 위해 낙관적인 가치 추정치를 기반으로 정책을 업데이트한다.
• 근접도 분석은 분산 인식 농도 불평등과 이중성 갭의 새로운 분해에 기반한다.

실험 결과

연구 질문

• RQ1 선형 함수 근사가 적용된 이인자 마르코프 게임에 대해 증명 가능하게 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 선형 전이 모델 하에서 이러한 게임에서 달성 가능한 최적의 근접도는 무엇인가?
• RQ3 알고리즘이 계산 가능성을 유지하면서도 근접도에서 거의 최적성을 달성할 수 있는가?
• RQ4 Coarse Correlated Equilibrium 사용이 전체 나시 균형 계산에 비해 효율성과 성능 측면에서 어떻게 비교되는가?
• RQ5 이 설정에서 근접도에 대한 정보 이론적 하한선은 무엇인가?

주요 결과

• 제안된 알고리즘인 Nash-UCRL-VTR은 $˜{O}(dH\sqrt{T})$의 근접도를 달성하며, 여기서 $d$는 선형 함수 차원, $H$는 수평선, $T$는 총 단계 수이다.
• 근접도 상한선은 $˜{\Omega}(dH\sqrt{T})$의 상응하는 하한선과 일치하며, 이는 로그 인자까지의 근접도 최적성임을 시사한다.
• 알고리즘은 각 단계에서 오직 Coarse Correlated Equilibrium를 계산하기만 하므로 계산 효율성이 보장된다.
• 불확실성에 직면했을 때 낙관주의의 사용은 명시적인 나시 균형 계산이 없이도 효과적인 탐색을 가능하게 한다.
• 이론적 분석은 동시 이동을 허용하는 이인자 제로섬 마르코프 게임에서 선형 함수 근사 하에서 날카운 근접도를 확립한다.
• 결과는 알고리즘이 로그 인자까지의 근접도 스케일링 측면에서 최적임을 보여준다.