[논문 리뷰] Minimax Sample Complexity for Turn-based Stochastic Game

Qiwen Cui, Lin F. Yang|arXiv (Cornell University)|2020. 11. 29.

Reinforcement Learning in Robotics참고 문헌 24인용 수 5

한 줄 요약

이 논문은 생성 모델 오라클을 통해 경험적 순차적 스토케스틱 게임(TBSG)을 학습하고 계획을 통해 해결하는 플러그인 솔버 접근법이 TBSG에서 근사 네시 균형을 찾는 데 최소 최악의 표본 복잡도를 달성함을 입증한다. 흡수 TBSG와 보상 편향 기법을 도입함으로써 문제에 의존하는 및 문제에 독립적인 표본 복잡도 상한을 엄밀하게 증명하여, 이 방법이 모든 $\varepsilon$-값과 부분최적성 갭에 대해 최적임을 보여준다.

ABSTRACT

The empirical success of Multi-agent reinforcement learning is encouraging, while few theoretical guarantees have been revealed. In this work, we prove that the plug-in solver approach, probably the most natural reinforcement learning algorithm, achieves minimax sample complexity for turn-based stochastic game (TBSG). Specifically, we plan in an empirical TBSG by utilizing a `simulator' that allows sampling from arbitrary state-action pair. We show that the empirical Nash equilibrium strategy is an approximate Nash equilibrium strategy in the true TBSG and give both problem-dependent and problem-independent bound. We develop absorbing TBSG and reward perturbation techniques to tackle the complex statistical dependence. The key idea is artificially introducing a suboptimality gap in TBSG and then the Nash equilibrium strategy lies in a finite set.

연구 동기 및 목표

• 순차적 스토케스틱 게임(TBSG)에 대한 모델 기반 강화 학습에서 이론적 간극을 메우기 위해, 이전 연구가 최소 최악 표본 복잡도 보장을 부족하게 한 바를 해결하기 위해.
• 생성 모델 오라클 하에서 경험 모델을 학습하고 계획을 통해 해결하는 플러그인 솔버 접근법이 TBSG에서 최소 최악 복잡도임을 입증하기 위해.
• 밴딧과 MDP에서의 부분최적성 갭 개념을 TBSG로 확장하고, 이를 통해 문제에 의존하는 더 날카운 표본 복잡도 상한을 유도하기 위해.
• TBSG에서의 에이전트 상호작용으로 인한 복잡한 통계적 의존성 구조를 다루기 위해 새로운 통계 도구—흡수 TBSG와 보상 편향—을 개발하기 위해.

제안 방법

• 통계적 의존성을 전이 확률에만 집중시키기 위해, TBSG를 단일 매개변수 $u$에 의존하게 재구성하는 흡수 TBSG 변환을 도입하여, $\varepsilon$-커버를 통한 농도 한계를 가능하게 한다.
• empirical 네시 균형 전략이 진정한 전략과 높은 확률로 일치하도록 보장하기 위해, 제어된 부분최적성 갭 $\Delta$를 생성하기 위해 보상 편향을 적용한다.
• empirical 전이 및 보상 모델에 대해 유니온 바운드와 농도 부등식을 적용하여 Q-값의 추정 오차를 제한한다.
• TBSG의 구조를 활용하여 학습과 계획을 분리함으로써, 경험 모델에 어떤 계획 알고리즘도 적용할 수 있도록 한다.
• $\epsilon$와 $\Delta$를 변화시켜 문제에 의존하는 및 문제에 독립적인 표본 복잡도를 분석하고, 후자는 기존의 하한값과 일치함을 보였다.
• 표본 크기가 $O(|\mathcal{S}||\mathcal{A}|(1-\gamma)^{-3}\Delta^{-2}\log(\cdots))$를 초과할 경우, 경험 네시 균형 전략이 정확히 진정한 네시 균형 전략임을 증명하였다.

실험 결과

연구 질문

• RQ1 플러그인 솔버 접근법은 순차적 스토케스틱 게임에서 최소 최악 표본 복잡도를 달성할 수 있는가?
• RQ2 생성 모델 하에서 TBSG에서 $\epsilon$-네시 균형을 찾는 데 가능한 가장 날카운 표본 복잡도는 무엇인가?
• RQ3 부분최적성 갭 $\Delta$는 어떻게 활용되어 TBSG에서 문제에 의존하는 상한을 도출할 수 있는가?
• RQ4 다중 에이전트 학습에서 비.i.i.d.이고 의존적인 통계적 구조를 다루기 위해 어떤 새로운 통계 기법이 필요한가?
• RQ5 생성 모델 설정은 모든 $\varepsilon$ 및 $\Delta$ 값에서 최적 표본 복잡도를 허용하는가?

주요 결과

• 플러그인 솔버 접근법은 TBSG에서 최소 최악 표본 복잡도를 달성하며, 문제에 독립적인 설정에서 알려진 하한값 $O(|\mathcal{S}||\mathcal{A}|(1-\gamma)^{-3}\epsilon^{-2})$와 일치한다.
• 문제에 의존하는 상한의 경우, $O(|\mathcal{S}||\mathcal{A}|(1-\gamma)^{-3}\Delta^{-2}\log(\frac{|\mathcal{S}||\mathcal{A}|}{(1-\gamma)\delta\Delta}))$의 표본 수로 충분하여 고정된 네시 균형 전략을 높은 확률로 복원할 수 있다.
• 부분최적성 갭 $\Delta$는 충분한 표본 수가 확보된 경우 $\Delta \in (0, (1-\gamma)^{-1}]$에서 진정한 네시 균형 전략의 정확한 복원을 가능하게 한다.
• 흡수 TBSG 기법은 경험 전이 모델에 대한 통계적 의존성을 단일 매개변수로 줄여 농도 기반 분석을 가능하게 하였다.
• 보상 편향은 진정한 네시 균형과 경험 네시 균형이 일치하도록 보장하는 제어된 갭을 생성하며, 이는 정확한 복원에 핵심적이다.
• 본 연구는 생성 모델 하에서 TBSG에 대해 부분최적성 갭 기반 표본 복잡도 상한을 처음으로 입증하였으며, 밴딧과 MDP에서의 핵심 개념을 확장하였다.