[논문 리뷰] Provable Self-Play Algorithms for Competitive Reinforcement Learning

Yu Bai, Chi Jin|arXiv (Cornell University)|2020. 02. 10.

Reinforcement Learning in Robotics참고 문헌 34인용 수 30

한 줄 요약

제로합 마르코프 게임에 대한 최초의 증명 가능한 샘플-효율적 self-play 알고리즘을 제시합니다. 여기에는 O~(√T) 후회가 있는 VI-ULCB와 O~(T^{2/3}) 후회를 갖는 다항 시간 탐색-먼저-탐색-실행 변형이 포함됩니다.

ABSTRACT

Self-play, where the algorithm learns by playing against itself without requiring any direct supervision, has become the new weapon in modern Reinforcement Learning (RL) for achieving superhuman performance in practice. However, the majority of exisiting theory in reinforcement learning only applies to the setting where the agent plays against a fixed environment; it remains largely open whether self-play algorithms can be provably effective, especially when it is necessary to manage the exploration/exploitation tradeoff. We study self-play in competitive reinforcement learning under the setting of Markov games, a generalization of Markov decision processes to the two-player case. We introduce a self-play algorithm---Value Iteration with Upper/Lower Confidence Bound (VI-ULCB)---and show that it achieves regret $ ilde{\mathcal{O}}(\sqrt{T})$ after playing $T$ steps of the game, where the regret is measured by the agent's performance against a \emph{fully adversarial} opponent who can exploit the agent's strategy at \emph{any} step. We also introduce an explore-then-exploit style algorithm, which achieves a slightly worse regret of $ ilde{\mathcal{O}}(T^{2/3})$, but is guaranteed to run in polynomial time even in the worst case. To the best of our knowledge, our work presents the first line of provably sample-efficient self-play algorithms for competitive reinforcement learning.

연구 동기 및 목표

• 두 명의 플레이어가 제로합인 마르코프 게임 하에서 경쟁적 강화학습(RL)을 동기 부여하고 형식화한다.
• 제한적 가정 없이 증명 가능한 후회 보장을 갖는 self-play 알고리즘을 제안한다.
• 샘플 효율성과 실행 시간 간의 계산적 트레이드오프를 분석한다.
• MARL에서 self-play에 대한 PAC 스타일 보장과 기초적 결과를 제공한다.

제안 방법

• Q^up 및 Q^low(낙관적/비관적 Q 추정치)를 유지함으로써 UCB 개념을 두 플레이어 설정으로 확장한다.
• 각 상태-행동 쌍에서 일반합 보상 설정에 대한 내쉬 균형을 사용해 (μ, ν) 정책을 선택하고, [Q^up, Q^low]에 대해 공동으로 탐욕적이 되도록 한다.
• 일반 MG에서 VI-ULCB의 후회 상한을 증명하고, 개선된 후회 및 다항 시간 실행을 가진 턴제 특수화를 도출한다.
• 보상 없이 탐색(reward-free exploration)을 이용한 계산 효율적인 VI-Explore 변형을 도입하여 O(T^{2/3}) 후회로 다항 시간 보장을 달성한다.
• 후회 상한에서 근접 균형 정책의 샘플 복잡도 상한으로 PAC 스타일 변환을 제공한다.

실험 결과

연구 질문

• RQ1 제한적인 모델 가정 없이 두 명의 플레이어가 참여하는 제로합 마르코프 게임에서 self-play 알고리즘이 증명 가능한 샘플 효율적 후회를 달성할 수 있는가?
• RQ2 낙관적/비관적 가치 추정치를 일반합 Nash 균형과 결합해 self-play에서 정책을 어떻게 이끄는가?
• RQ3 경쟁적 RL에서 정확한 후회 최소화와 다항 시간 근사 사이의 계산적 및 통계적 트레이드오프는 무엇인가?
• RQ4 턴제 마르코프 게임에서 개선된 후회와 실현 가능한 self-play 알고리즘 구현이 가능한가?
• RQ5 후회의 기본 하한은 무엇이며 제안된 방법들이 그것에 얼마나 근접하는가?

주요 결과

• VI-ULCB는 일반 제로합 마코프 게임에서 Õ(√(H^3 S^2 A B T))의 후회를 달성하고(턴제 설정에서는 Õ(√(H^3 S^2 (A+B) T))의 후회), 고확률 보장을 제공합니다.
• 탐색-그다음-실행 알고리즘은 다항 시간 보장과 함께 Õ(T^{2/3})의 후회를 달성합니다.
• Ω(√(H^2 S (A+B) T))의 하한이 일부 설정에 대해 확립되어 S, A, B 의 의존성의 차이를 부각시키고 향후 연구를 자극합니다.
• 논문은 PAC 한계를 제공합니다: 충분한 에피소드 K가 주어지면 VI-ULCB를 통해 도출된 정책 쌍은 높은 확률로 근접 균형 성능을 달성합니다.
• 턴제 게임에서는 내쉬 균형 계산이 더 간단한 제로합 부분 문제로 축약되어 다항 시간 구현과 개선된 후회를 가능하게 합니다.
• 정확한 Nash_general_sum 서브루틴의 PPAD-완전성 주의사항이 논의되며, 실용적인 대안으로 다항 시간 VI-Explore 변형을 권장합니다.