[논문 리뷰] The Power of Exploiter: Provable Multi-Agent RL in Large State Spaces

Chi Jin, Qinghua Liu외 1명|arXiv (Cornell University)|2021. 06. 07.

Reinforcement Learning in Robotics참고 문헌 53인용 수 5

한 줄 요약

이 논문은 상태 공간이 큰 두 명의 플레이어로 구성된 제로섬 마르코프 게임에 대해 증명 가능하게 샘플 효율적인 다중 에이전트 강화 학습 알고리즘인 Golf_with_Exploiter를 소개한다. '폭로자' 에이전트가 주 에이전트의 약점을 전략적으로 악용함으로써, 새로운 복잡도 측정 기준인 다중 에이전트 벨먼-에루더 차원을 사용하여 다항 샘플 복잡도를 달성함으로써, 표본 기반, 선형, 커널, 풍부한 관측 환경에서의 효율적 학습이 가능해진다.

ABSTRACT

Modern reinforcement learning (RL) commonly engages practical problems with large state spaces, where function approximation must be deployed to approximate either the value function or the policy. While recent progresses in RL theory address a rich set of RL problems with general function approximation, such successes are mostly restricted to the single-agent setting. It remains elusive how to extend these results to multi-agent RL, especially due to the new challenges arising from its game-theoretical nature. This paper considers two-player zero-sum Markov Games (MGs). We propose a new algorithm that can provably find the Nash equilibrium policy using a polynomial number of samples, for any MG with low multi-agent Bellman-Eluder dimension -- a new complexity measure adapted from its single-agent version (Jin et al., 2021). A key component of our new algorithm is the exploiter, which facilitates the learning of the main player by deliberately exploiting her weakness. Our theoretical framework is generic, which applies to a wide range of models including but not limited to tabular MGs, MGs with linear or kernel function approximation, and MGs with rich observations.

연구 동기 및 목표

• 일般 함수 근사 하에서, 특히 큰 상태 공간에서 증명 가능하게 효율적인 다중 에이전트 강화 학습 알고리즘의 부족을 해결한다.
• 기본 단일 에이전트 함수 근사 기법이 실패하는 다중 에이전트 환경에서의 적대적 상대방 적응 문제를 극복한다.
• 단일 에이전트 함수 근사 결과를 다중 에이전트 마르코프 게임으로 확장하는 이론적 프레임워크를 개발한다.
• 다양한 다중 에이전트 강화 학습 모델의 학습 가능성(learnability)을 캡처하는 통합된 복잡도 측정 기준인 다중 에이전트 벨먼-에루더 차원을 제공한다.
• 상태 공간 크기와 무관한 샘플 효율성을 달성하여, 풍부한 관측 또는 신경망 함수 근사기와 같은 복잡한 환경에 적용 가능하게 한다.

제안 방법

• 주 플레이어와 전용 폭로자 에이전트를 유지하는 새로운 자기대결 알고리즘인 Golf_with_Exploiter를 제안하여 탐색과 정책 개선을 촉진한다.
• 폭로자를 사용해 주 에이전트의 정책 약점을 의도적으로 공격하고 악용함으로써 전략적 상호작용을 통해 더 효과적인 학습을 가능하게 한다.
• 단일 에이전트 기반에서 유도된 다중 에이전트 벨먼-에루더(BE) 차원을 새로운 복잡도 측정 기준으로 도입하여 다중 에이전트 환경에서의 학습의 본질적 어려움을 정량화한다.
• 가치 함수 추정에 낙관주의를 적용하여 가치 함수의 상한과 하한을 유지함으로써 탐색을 보장하면서도 이론적 보장을 유지한다.
• 온라인에서 배치로의 감소와 농도 불등식을 활용하여 상태 공간 크기와 무관한 샘플 복잡도 상한을 유도한다.
• 자기대결과 적대적 상대방을 모두 다룰 수 있는 새로운 분석 프레임워크를 통해 이론적 보장을 확립하며, 농도 추론과 차원 의존적 상한을 사용한다.

실험 결과

연구 질문

• RQ1 일반 함수 근사 하에서 큰 상태 공간에서 증명 가능하게 샘플 효율적인 다중 에이전트 강화 학습 알고리즘을 설계할 수 있는가?
• RQ2 게임 이론적 상호작용이 있는 다중 에이전트 환경에서 단일 에이전트 함수 근사 이론을 어떻게 확장할 수 있는가?
• RQ3 함수 근사 하에서 다중 에이전트 마르코프 게임의 학습 가능성(learnability)을 특성화하기 위해 필요한 새로운 복잡도 측정 기준은 무엇인가?
• RQ4 폭로자 메커니즘이 정책의 약점을 공격함으로써 자기대결 다중 에이전트 강화 학습의 샘플 효율성을 향상시킬 수 있는가?
• RQ5 제안된 알고리즘이 적대적 상대방 또는 비정적 행동 상황에서도 샘플 효율성을 유지하는가?

주요 결과

• 제안된 Golf_with_Exploiter 알고리즘은 선형 마르코프 게임에서 $\tilde{\mathcal{O}}(H^{2}d^{2}/\epsilon^{2})$ 의 샘플 복잡도를 달성하여, 이전 연구에서 관찰된 차원 $d$ 에 대한 세제곱 의존성보다 향상된 결과를 얻는다.
• 낮은 다중 에이전트 벨먼-에루더 차원 가정 하에, 상태 공간 크기와 무관하게 다항 수준의 샘플 수로 나시 균형 정책으로 수렴함을 보장한다.
• 다양한 모델, 즉 표본 기반 마르코프 게임, 선형 마르코프 게임, 커널 마르코프 게임, 풍부한 관측 환경을 포함한 마르코프 게임에서 다중 에이전트 벨먼-에루더 차원이 낮다는 것이 입증된다.
• 이론적 프레임워크는 자기대결 및 온라인 보장을 모두 제공하여, 적대적 상대방과의 상호작용 시에도 강건성을 확보한다.
• 에피소드 수 $K$ 에 대해 $\mathcal{O}(H\sqrt{K\beta \cdot |\mathcal{A}||\mathcal{B}| \cdot \dim_{\textrm{VBE}}(\mathcal{F}, \epsilon/H)} + K\epsilon)$ 의 리그레트 상한을 달성한다.
• 분석을 통해 $d$ 가 VBE 차원일 때, $K = \Omega\big{(}(H^{2}d/\epsilon^{2})\cdot\log(H|\mathcal{F}||\mathcal{G}|d/\epsilon)\big{)}$ 에피소드 이후에 고려할 확률로 $\mathcal{O}(\epsilon)$-최적 정책을 찾을 수 있음을 입증한다.