[논문 리뷰] Sample-Efficient Reinforcement Learning of Partially Observable Markov Games

Qinghua Liu, Csaba Szepesvári외 1명|arXiv (Cornell University)|2022. 06. 02.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 약하게 드러나는 부분 관측 마르코프 게임(POMGs)에서 샘플 효율적인 강화학습을 위한 새로운 알고리즘인 OMLE-Equilibrium와 OMLE-Adversary를 제안한다. 유익성과 최대우도추정(MLE)을 조합함으로써, 자기대결(self-play)에서 균형을 찾는 데 다항식 샘플 복잡도를 달성하고, 적대적 상대방에 대해 비선형 회귀를 달성하며, 풍부한 POMG 클래스에 대해 증명 가능하게 샘플 효율적인 결과를 처음으로 이룩한다.

ABSTRACT

This paper considers the challenging tasks of Multi-Agent Reinforcement Learning (MARL) under partial observability, where each agent only sees her own individual observations and actions that reveal incomplete information about the underlying state of system. This paper studies these tasks under the general model of multiplayer general-sum Partially Observable Markov Games (POMGs), which is significantly larger than the standard model of Imperfect Information Extensive-Form Games (IIEFGs). We identify a rich subclass of POMGs -- weakly revealing POMGs -- in which sample-efficient learning is tractable. In the self-play setting, we prove that a simple algorithm combining optimism and Maximum Likelihood Estimation (MLE) is sufficient to find approximate Nash equilibria, correlated equilibria, as well as coarse correlated equilibria of weakly revealing POMGs, in a polynomial number of samples when the number of agents is small. In the setting of playing against adversarial opponents, we show that a variant of our optimistic MLE algorithm is capable of achieving sublinear regret when being compared against the optimal maximin policies. To our best knowledge, this work provides the first line of sample-efficient results for learning POMGs.

연구 동기 및 목표

• 에이전트가 국소 정보만 관찰하는 부분 관측 하에서 다중 에이전트 강화학습(MARL)에 대한 이론적 이해 부족 문제를 해결한다.
• 일반 POMG에서의 학습이 통계적·계산적으로 비가역적임을 극복하기 위해, 다루기 쉬운 하위클래스인 약하게 드러나는 POMG를 규명한다.
• 관측과 전략적 상호작용이 비마르코프적임에도 불구하고, 자기대결 및 적대적 환경에서 균형을 학습하는 샘플 효율적 알고리즘을 개발한다.
• POMG에서 균형 탐색 및 회귀 최소화에 대한 이론적 보장을 확립하며, 이는 이전의 제한된 모델인 IIEFGs에 국한된 연구를 초월한다.

제안 방법

• 관측된 관측치가 은닉 상태에 대한 충분한 정보를 제공하는 약하게 드러나는 POMG의 새로운 클래스를 제안한다.
• 유익성과 MLE를 조합하여 모델에 대한 신뢰집합을 구성하는 OMLE-Equilibrium 알고리즘을 설계함으로써, 근사 네쉬, 상관, 코arse 상관 균형을 효율적으로 학습할 수 있도록 한다.
• 경로에서 전이 및 관측 모델을 추정하기 위해 유연한 MLE 접근법을 사용하여, 데이터가 많아질수록 신뢰집합이 수축하도록 보장한다.
• 적대적 환경에서는 OMLE-Equilibrium를 OMLE-Adversary로 수정하여, 신뢰집합 내에서 가장 옵티미스틱한 모델을 선택하고, 그 모델 하에서 최대-최소 가치 기반으로 정책을 선택한다.
• 로그우도 차이가 정책 의존성을 상쇄시킨다는 사실을 활용하여, 상대방의 정책을 알지 못해도 신뢰집합을 구성할 수 있도록 한다.
• 신뢰집합 구성이 공동 정책에 독립적이므로, 상대방의 전략을 알지 못해도 탈중앙화된 효율적 구현이 가능하다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 IIEFGs와 같은 제한된 모델을 초월하여, 더 넓은 부분 관측 다중 에이전트 게임 클래스에서 샘플 효율적 학습을 달성할 수 있는가?
• RQ2 약하게 드러나는 POMG에서 자기대결 상황에서 근사 균형을 찾는 데 다항식 샘플 복잡도를 달성할 수 있는가?
• RQ3 다른 플레이어의 관측치와 행동 기록을 사후에 확보할 수 있을 때, POMG에서 적대적 상대방에 대해 비선형 회귀를 달성할 수 있는가?
• RQ4 어떤 구조적 조건이 부분 관측과 전략적 상호작용이 존재하는 상황에서도 증명 가능하게 효율적인 학습을 가능하게 하는가?
• RQ5 단일 스텝 약하게 드러나는 POMG에서의 양호한 결과를 다단계 설정으로 확장할 수 있는가?

주요 결과

• OMLE-Equilibrium는 자기대결 하에서 약하게 드러나는 POMG에서 근사 네쉬, 상관, 코어스 상관 균형을 찾는 데 다항식 샘플 복잡도를 달성한다.
• OMLE-Adversary는 학습자가 게임 후 다른 플레이어의 관측치와 행동을 관찰할 수 있을 때, Assumption 1 하에 적대적 상대방에 대해 Õ(√k) 이내의 회귀를 달성한다.
• 이 회귀 상한은 모든 k ∈ [K]에 대해 고확률 1−δ로 성립하며, 상태공간 S, 행동공간 A, 관측공간 O, 수평 H, 정확도 α를 포함한 시스템 매개변수에 대해 다항식으로 의존한다.
• 신뢰집합 구성은 공동 정책에 독립적이므로, 상대방의 전략을 알지 못해도 탈중앙화된 구현이 가능하다.
• 부정적인 결과로, 다단계 약하게 드러나는 POMG로 비선형 회귀 보장을 확장하는 것은 일반적으로 불가능함을 보여준다. 이는 전체 재생 데이터 접근이 가능하더라도 마찬가지다.
• 본 연구는 IIEFGs와 POMDPs에 국한된 이전 이론적 연구를 크게 초월하여, 넓은 범위의 POMG에서 증명 가능하게 샘플 효율적인 결과를 제공한다.