[논문 리뷰] Learning Nash Equilibrium for General-Sum Markov Games from Batch Data

Julien Pérolat, Florian Strub외 2명|arXiv (Cornell University)|2016. 06. 28.

Game Theory and Applications인용 수 28

한 줄 요약

이 논문은 함수 근사와 함께 배치 데이터에서 일반합 마르코프 게임에서 ǫ-내쉬 균형을 학습하는 데 새로운 방법을 제안한다. 약한 ǫ-내쉬 균형 개념을 도입하고, 두 개의 벨먼 유사 잔차의 Lp 노름을 최소화하면 그러한 균형으로 수렴함을 증명한다. 이는 신경망 아키텍처(NashNetwork)를 통해 공동으로 가치 함수와 정책을 학습함으로써 실현되며, 합성 Garnet 게임에서의 실험적 검증을 통해 다중 플레이어 환경에서 안정적이고 확장 가능한 학습을 달성한다.

ABSTRACT

This paper addresses the problem of learning a Nash equilibrium in $\gamma$-discounted multiplayer general-sum Markov Games (MG). A key component of this model is the possibility for the players to either collaborate or team apart to increase their rewards. Building an artificial player for general-sum MGs implies to learn more complex strategies which are impossible to obtain by using techniques developed for two-player zero-sum MGs. In this paper, we introduce a new definition of $\epsilon$-Nash equilibrium in MGs which grasps the strategy's quality for multiplayer games. We prove that minimizing the norm of two Bellman-like residuals implies the convergence to such an $\epsilon$-Nash equilibrium. Then, we show that minimizing an empirical estimate of the $L_p$ norm of these Bellman-like residuals allows learning for general-sum games within the batch setting. Finally, we introduce a neural network architecture named NashNetwork that successfully learns a Nash equilibrium in a generic multiplayer general-sum turn-based MG.

연구 동기 및 목표

• 환경의 동역학과 보상이 알려지지 않은 상황에서 다중 플레이어 일반합 마르코프 게임에서 내쉬 균형을 학습하는 데 도전한다.
• 기존 방법이 일반합 설정에서 실패하는 한계를 극복하기 위해 약한 ǫ-내쉬 균형 개념을 도입한다.
• 표본 수가 적은 경우 실패하는 표본 기반 방법에 비해 큰 상태 공간으로의 확장이 가능하도록 함수 근사를 배치 설정에서 가능하게 한다.
• 모든 플레이어의 가치 함수와 정책을 동시에 최적화하는 통합 딥 러닝 프레임워크를 개발한다.
• 합성 결정성 마르코프 게임에서 플레이어 수가 다양할 경우에도 확장성과 강인성을 입증한다.

제안 방법

• 다중 플레이어 일반합 마르코프 게임에 특화된 약한 ǫ-내쉬 균형의 새로운 정의를 도입한다.
• 값 함수 일관성과 정책 최적성에 각각 해당하는 두 개의 벨먼 유사 잔차를 정의하고, 이들의 동시 최소화가 ǫ-내쉬 균형 수렴을 보장함을 보인다.
• 배치 데이터를 기반으로 이러한 잔차의 경험적 Lp 노름 목표를 설정하여 온라인 상호작용 없이 이면 학습이 가능하도록 한다.
• 각 플레이어별로 공유된 Q-네트워크와 정책 네트워크를 갖는 새로운 신경망 아키텍처인 NashNetwork를 제안하며, ReLU와 소프트맥스 활성화 함수를 사용한다.
• 학습은 AdamGrad를 사용하고, 별도의 학습률과 가중치 감쇠를 적용하여 훈련 및 테스트 세트에서 경험적 벨먼 잔차 노름을 최소화한다.
• 일반화성과 확장성 평가를 위해 합성 Garnet 환경에서 이진 상태 인코딩과 원형 보상 함수를 사용한다.

실험 결과

연구 질문

• RQ1 일반합 다중 플레이어 마르코프 게임에서 약한 ǫ-내쉬 균형을 공식적으로 정의하고 특성화할 수 있는가?
• RQ2 두 개의 벨먼 유사 잔차 합을 최소화하면 이러한 게임에서 약한 ǫ-내쉬 균형으로 수렴하는가?
• RQ3 함수 근사와 배치 데이터를 효과적으로 조합하여 대규모 다중 플레이어 마르코프 게임에서 내쉬 균형을 학습할 수 있는가?
• RQ4 제안된 NashNetwork 아키텍처는 합성 환경에서 다양한 수의 플레이어에 대해 어떻게 확장되는가?
• RQ5 경험적 벨먼 잔차 노름이 실제 최적 반응 오차와 얼마나 관련이 있는가? 이는 균형 품질을 어떻게 반영하는가?

주요 결과

• 메서드는 배치 데이터만을 사용하여 다중 플레이어 일반합 마르코프 게임에서 약한 ǫ-내쉬 균형을 성공적으로 학습하였으며, 훈련 및 테스트 지표에서 수렴이 관찰되었다.
• 모든 플레이어에서 '오차 대 최적 반응' 지표가 거의 0에 수렴하여, 한 명의 플레이어가 전략을 단독으로 변경해도 평균적으로 누적 보상이 8% 이내로 향상되지 않음을 나타냈다.
• 전략 품질은 플레이어 간에 균형을 이루었으며, 상태 공간 전반에서 표준편차가 5점 이내로 유지되어 일관된 성능을 보였다.
• 신경망은 2명에서 5명의 플레이어로 확장되면서도 유사한 전략 품질을 유지하여 플레이어 수 증가에 대한 강인성을 입증했다.
• 경험적 벨먼 잔차 노름이 '오차 대 최적 반응' 지표와 함께 감소함에 따라, 훈련 목표가 균형 품질과 일치함을 확인했다.
• 데이터가 부족할 경우 과적합이 관찰되었고, 수렴을 위해 높은 수의 샘플이 필요하여, 이 메서드의 데이터 효율성은 여전히 도전 과제로 남아 있다.