[논문 리뷰] Near-Optimal Reinforcement Learning with Self-Play

Yu Bai, Chi Jin외 1명|arXiv (Cornell University)|2020. 06. 22.

Reinforcement Learning in Robotics참고 문헌 34인용 수 14

한 줄 요약

이 논문은 이인자 제로섬 마르코프 게임에 대해 근사 최적의 자기대결 강화학습 알고리즘을 제안하며, 옵timistic Nash Q-학습의 변종과 새로운 Nash V-학습 알고리즘을 도입한다. 후자는 샘플 복잡도 $\tilde{\mathcal{O}}(H^6 S(A+B)/\epsilon^2)$를 달성하여 정보 이론적 하한선에 비해 $\mathrm{poly}(H)$ 요소 외에는 일치하며, 표본 복잡도의 상한과 하한 사이의 오랫동안 열려있던 격차를 해결한다.

ABSTRACT

This paper considers the problem of designing optimal algorithms for reinforcement learning in two-player zero-sum games. We focus on self-play algorithms which learn the optimal policy by playing against itself without any direct supervision. In a tabular episodic Markov game with $S$ states, $A$ max-player actions and $B$ min-player actions, the best existing algorithm for finding an approximate Nash equilibrium requires $ ilde{\mathcal{O}}(S^2AB)$ steps of game playing, when only highlighting the dependency on $(S,A,B)$. In contrast, the best existing lower bound scales as $Ω(S(A+B))$ and has a significant gap from the upper bound. This paper closes this gap for the first time: we propose an optimistic variant of the \emph{Nash Q-learning} algorithm with sample complexity $ ilde{\mathcal{O}}(SAB)$, and a new \emph{Nash V-learning} algorithm with sample complexity $ ilde{\mathcal{O}}(S(A+B))$. The latter result matches the information-theoretic lower bound in all problem-dependent parameters except for a polynomial factor of the length of each episode. In addition, we present a computational hardness result for learning the best responses against a fixed opponent in Markov games---a learning objective different from finding the Nash equilibrium.

연구 동기 및 목표

• 이인자 표본 마르코프 게임에서 나시 균형을 학습하는 데 있어 최고의 알려진 상한과 정보 이론적 하한 사이의 샘플 복잡도 격차를 해소하는 것.
• 직접적인 감독 없이 최적의 정책을 학습하는 자기대결 알고리즘을 설계하여 다중 에이전트 강화학습의 샘플 효율성을 향상시키는 것.
• 고정된 상대방에 대한 최적 반응을 학습하는 데 있어 계산 복잡도를 규명하고, 이를 노이즈가 있는 파리티 학습 문제와 동치임을 보여주는 것.
• 근사된 가치 추정치로부터 유도된 정책이 최적 반응에 대해 저항력 있는 성능을 보장하는 검증된 정책 추출 기법을 개발하는 것.

제안 방법

• Q-값의 상한 및 하한 추정치를 유지하면서 정책 실행을 위해 이러한 추정치에 대한 거친 상호연결균형(Coarse Correlated Equilibrium, CCE)을 계산하는 옵티미스틱 Nash Q-학습의 변종을 제안한다.
• Nash V-학습은 V-값의 옵티미스틱 추정치를 사용하며, 표준 Q-학습과 Follow-the-Regularized-Leader(FTRL)을 조합하여 실행 정책을 결정한다.
• 시간에 따라 변화하는 스텝 크기와 신뢰구간을 활용한 새로운 FTRL 분석을 통해 손실를 제한하고 근사 나시 균형으로의 수렴을 보장한다.
• 추정 오차를 제어하기 위해 농도 불확실성 하에서 가치 함수 근사에 대한 농도 부등식과 마르티ン게일 추론을 적용한다.
• 합집합 한계와 유한한 마르티ン게일 차분 수열을 사용하여 정책 및 가치 추정치에 대한 고확률 신뢰구간을 유도한다.
• 근사된 가치 추정치로부터 유도된 정책이 상대방의 최적 반응에 대해 근사 최적의 성능을 유지함을 보장하는 검증된 정책 추출 기법을 개발한다.

실험 결과

연구 질문

• RQ1 H의 다항식 요소 외에 정보 이론적 하한선과 일치하는 샘플 복잡도를 갖는 자기대결 알고리즘을 이인자 마르코프 게임에 대해 설계할 수 있는가?
• RQ2 외부 감독 없이 자기대결만을 사용하여 마르코프 게임에서 근사 최적의 샘플 복잡도를 달성할 수 있는가?
• RQ3 마르코프 게임에서 고정된 상대방에 대한 최적 반응을 학습하는 데 있어 계산 복잡도는 무엇이며, 알려진 어려운 문제들과 어떤 관련이 있는가?
• RQ4 근사된 추정치로부터 유도된 정책이 최적 반응 공격에 저항력 있는 성능을 보장할 수 있는가?

주요 결과

• 제안된 Nash V-학습 알고리즘이 $\tilde{\mathcal{O}}(H^6 S(A+B)/\epsilon^2)$의 샘플 복잡도를 달성하며, 정보 이론적 하한선에 비해 $\mathrm{poly}(H)$ 요소 외에는 일치한다.
• 옵티미스틱 Nash Q-학습 변종은 $\tilde{\mathcal{O}}(H^5 SAB/\epsilon^2)$의 샘플 복잡도를 달성하며, 이는 이전 방법이 요구한 $\tilde{\mathcal{O}}(S^2AB)$ 단계보다 향상된 것이다.
• 고정된 상대방에 대한 최적 반응을 학습하는 것은 계산적으로 어렵고, 노이즈가 있는 파리티 학습 문제와 동치이며, 이는 비가역적이라 여겨진다.
• 이 하드네스 결과는 개별 플레이어의 무손실 알고리즘이 마르코프 게임에서 나시 균형을 효율적으로 찾는 데 사용될 수 없다는 것을 시사한다.
• 검증된 정책 추출 기법은 상대방이 최적 반응을 취하더라도 가치 추정치로부터 유도된 정책이 근사 최적의 성능을 유지함을 보장한다.
• 이 논문은 표본 마르코프 게임에서 $S$, $A$, $B$ 의존성 측면에서 오랫동안 열려있던 최고의 상한과 정보 이론적 하한 사이의 격차를 해결한다.