[논문 리뷰] Fitted Q-Learning in Mean-field Games.

Berkay Anahtarcı, Can Deha Karıksız외 1명|arXiv (Cornell University)|2019. 12. 31.

Stochastic processes and financial applications인용 수 9

한 줄 요약

이 논문은 모델 기반 및 모델리스 설정에서 Banach의 고정점 정리의 활용을 통해 평균장 게임에서 근사 내쉬 균형을 계산하기 위한 피팅된 Q-학습 알고리즘을 제안한다. 확률적 수렴을 확립하고, 학습된 평균장 정책으로부터 유한 에이전트 게임의 균형을 구성한다.

ABSTRACT

In the literature, existence of equilibria for discrete-time mean field games has been in general established via Kakutani's Fixed Point Theorem. However, this fixed point theorem does not entail any iterative scheme for computing equilibria. In this paper, we first propose a Q-iteration algorithm to compute equilibria for mean-field games with known model using Banach Fixed Point Theorem. Then, we generalize this algorithm to model-free setting using fitted Q-iteration algorithm and establish the probabilistic convergence of the proposed iteration. Then, using the output of this learning algorithm, we construct an approximate Nash equilibrium for finite-agent stochastic game with mean-field interaction between agents.

연구 동기 및 목표

• 기존 방법이 비구성적 고정점 정리에 의존하는 이산 시간 평균장 게임에서 균형을 계산하기 위한 반복 알고리즘을 개발하기 위해.
• 실용적 적용성을 높이기 위해 모델 기반에서 모델리스 설정으로 Q-반복을 확장하기 위해.
• 모델리스 설정에서 제안된 학습 알고리즘의 확률적 수렴을 확립하기 위해.
• 학습된 평균장 정책이 평균장 상호작용을 갖는 유한 에이전트 스토케스틱 게임에서 근사 내쉬 균형을 구성하는 데 어떻게 사용될 수 있는지 보여주기 위해.

제안 방법

• 모델 기반 평균장 게임 균형 계산을 위한 Banach 고정점 정리에 기반한 Q-반복 알고리즘을 제안한다.
• 함수 근사와 함께 피팅된 Q-반복을 사용하여 Q-반복을 모델리스 설정으로 일반화한다.
• 약한 정칙 조건 하에서 피팅된 Q-반복의 거의확실 수렴을 보여주기 위해 확률적 수렴 분석을 시행한다.
• 학습된 평균장 정책을 활용하여 유한 에이전트 게임에서 근사 내쉬 균형을 이룰 전략 프로파일을 유도한다.
• 모델리스 설정에서 고차원 상태 공간을 다루기 위해 함수 근사를 적용한다.
• 가치 함수 공간에서 수축 사상 원리를 활용하여 이론적 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 Banach의 고정점 정리를 활용하여 Q-반복을 평균장 게임에서 균형을 계산하는 데 적응시킬 수 있는가?
• RQ2 모델리스 설정에서 피팅된 Q-반복이 평균장 게임에서 수렴하는가?
• RQ3 평균장 Q-학습 알고리즘의 출력을 어떻게 사용하여 유한 에이전트 내쉬 균형을 구성할 수 있는가?
• RQ4 피팅된 Q-반복의 수렴에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 유한 에이전트 게임에서 구성된 정책이 유효한 근사 내쉬 균형을 형성하는 데 필요한 조건은 무엇인가?

주요 결과

• 제안된 Q-반복 알고리즘은 Banach의 고정점 정리 조건 하에서 평균장 게임에서 균형 정책으로 수렴한다.
• 피팅된 Q-반복은 모델리스 설정에서 확률적 수렴을 달성하여 가치 함수 추정치의 거의확실 수렴을 보장한다.
• 학습된 평균장 정책은 유한 에이전트 스토케스틱 게임에서 근사 내쉬 균형을 이룰 전략 프로파일을 제공한다.
• 전이 모델의 명시적 지식이 필요 없이도 균형 계산을 가능하게 하여 실용적 적용성을 높인다.
• 이론적 프레임워크는 고차원 설정에서의 함수 근사를 지원하면서도 수렴 보장을 유지한다.
• 구성적이고 학습 기반의 균형 계산 방법을 제공함으로써 평균장 게임 이론과 강화학습을 연결한다.