[논문 리뷰] Actor-Critic Algorithms for Learning Nash Equilibria in N-player General-Sum Games

H. L. Prasad, L. A. Prashanth외 1명|arXiv (Cornell University)|2014. 01. 08.

Game Theory and Applications참고 문헌 39인용 수 5

한 줄 요약

이 논문은 N-플레이어 일반합 스토케스틱 게임에서 정적 나시 균형을 학습하기 위해 모델 기반인 OFF-SGSP(모델 기반)와 모델 무관인 ON-SGSP(모델 무관)라는 두 가지 액터-크리틱 알고리즘을 제안한다. 일반화된 비선형 최적화 문제를 설정하고, 필요 및 충분 조건인 SG-SP 조건을 유도함으로써, 이 방법들은 가치 함수를 추정하는 크리틱과 함께 정책 기울기 하강법을 사용하여 국소 최소값을 피하고, 자가 플레이에서 안정적인 나시 균형으로 수렴한다. ON-SGSP는 합성 게임에서 NashQ와 FFQ를 능가하는 성능을 보였다.

ABSTRACT

We consider the problem of finding stationary Nash equilibria (NE) in a finite discounted general-sum stochastic game. We first generalize a non-linear optimization problem from Filar and Vrieze [2004] to a $N$-player setting and break down this problem into simpler sub-problems that ensure there is no Bellman error for a given state and an agent. We then provide a characterization of solution points of these sub-problems that correspond to Nash equilibria of the underlying game and for this purpose, we derive a set of necessary and sufficient SG-SP (Stochastic Game - Sub-Problem) conditions. Using these conditions, we develop two actor-critic algorithms: OFF-SGSP (model-based) and ON-SGSP (model-free). Both algorithms use a critic that estimates the value function for a fixed policy and an actor that performs descent in the policy space using a descent direction that avoids local minima. We establish that both algorithms converge, in self-play, to the equilibria of a certain ordinary differential equation (ODE), whose stable limit points coincide with stationary NE of the underlying general-sum stochastic game. On a single state non-generic game (see Hart and Mas-Colell [2005]) as well as on a synthetic two-player game setup with $810,000$ states, we establish that ON-SGSP consistently outperforms NashQ ([Hu and Wellman, 2003] and FFQ [Littman, 2001] algorithms.

연구 동기 및 목표

• N-플레이어 일반합 스토케스틱 게임에서 정적 나시 균형을 찾는 스케일러블하고 수렴 가능한 알고리즘을 개발하기 위해.
• 두 플레이어에서 N-플레이어 스토케스틱 게임으로 비선형 제약 조건을 포함한 비선형 최적화 프레임워크를 일반화하기 위해.
• 필요 및 충분 조건인 SG-SP 조건에서 유도된 내림방향을 사용하여 국소 최소값을 피하는 액터-크리틱 알고리즘을 설계하기 위해.
• 일반 미분방정식의 안정한 한계점으로 수렴하는 알고리즘의 수렴성을 확립하기 위해.
• 대규모 합성 게임에서 기존의 다중 에이전트 강화학습 알고리즘과의 실험적 평가를 수행하기 위해.

제안 방법

• Filar과 Vrieze의 두 플레이어 프레임워크를 확장하여 N-플레이어 일반합 스토케스틱 게임를 위한 일반화된 비선형 최적화 문제를 설정한다.
• 각 에이전트와 상태에서 벨먼 오차가 0인 하위 문제의 해로서 나시 균형을 특성화하는 필요 및 충분 조건인 SG-SP(스토케스틱 게임 - 하위 문제) 조건을 유도한다.
• 액터-크리틱 아키텍처를 설계한다: 크리틱은 고정된 정책에 대해 가치 함수를 추정하고, 액터는 국소 최소값을 피하는 내림방향을 사용하여 정책 기울기 하강법을 수행한다.
• 두 알고리즘인 OFF-SGSP(모델 기반)와 ON-SGSP(모델 무관)를 제안하며, 양자 모두 다중 시간 척도 스토케스틱 근사법을 사용하여 수렴성을 확보한다.
• 관련된 일반 미분방정식의 균형으로 수렴하기 위해 자가 플레이 동역학을 사용한다.
• 상태 공간 복잡도를 줄이기 위해 가치 함수와 정책 함수가 상대적 상태 차이에만 의존하는 제한된 설정에서 함수 근사 기법을 구현한다.

실험 결과

연구 질문

• RQ1 N-플레이어 일반합 스토케스틱 게임에 대해 나시 균형을 하위 문제의 해로서 특성화하는, 벨먼 오차가 0인 하위 문제를 수용하는 일반화된 비선형 최적화 프레임워크를 개발할 수 있는가?
• RQ2 N-플레이어 스토케스틱 게임에서 하위 문제의 해를 나시 균형과 연결하는 데 필요한 및 충분한 조건(SG-SP)은 무엇인가?
• RQ3 국소 최소값을 피하는 내림방향을 사용하는 액터-크리틱 알고리즘이 자가 플레이에서 정적 나시 균형으로 수렴할 수 있는가?
• RQ4 제안된 ON-SGSP 알고리즘의 성능은 대규모 스토케스틱 게임에서 NashQ와 FFQ에 비해 어떻게 비교되는가?
• RQ5 상대적 상태 차이 기반의 함수 근사 기법이 수렴성과 균형 품질을 유지하면서 계산 복잡도를 크게 줄일 수 있는가?

주요 결과

• ON-SGSP는 810,000개 상태를 가진 합성 두 플레이어 스토케스틱 게임에서 NashQ와 FFQ를 일관되게 능가했으며, 더 빠른 수렴 속도와 더 나은 전략 안정성을 확보했다.
• 810,000개 상태 게임에서 ON-SGSP는 약 2×10^7회 반복 내에 30×30 격자 내 4×4 격자로 수렴했고, 평균적으로 상태당 약 21회 반복했다.
• NashQ는 약 5×10^7회 반복하여 8×8 격자에 도달했지만 전략이 안정되지 않아 수렴성이 열악한 것으로 나타났다.
• FFQ는 약 30,000회 반복 내에 8×8 격자에 빠르게 도달했지만 상태 공간을 충분히 탐색하지 못해 대부분의 격자에서 나시 전략이 아닌 전략을 보였다.
• ON-SGSP는 약 42분 만에 5×10^7회 반복을 완료했고, NashQ는 각 반복에서 나시 균형을 계산해야 해서 약 50시간이 소요되었다.
• 상대 위치 기반 함수 근사 기반의 부분 정보 설정에서 ON-SGSP는 약 200,000회 반복(약 5초) 내에 수렴했으며, 평균적으로 상대적 상태 차이당 약 22회 반복했다. 이는 압축된 차원의 하위공간에서 매우 빠른 수렴을 보여주었다.