[논문 리뷰] Learning in Discounted-cost and Average-cost Mean-field Games

Berkay Anahtarcı, Can Deha Karıksız외 1명|arXiv (Cornell University)|2019. 12. 31.

Reinforcement Learning in Robotics참고 문헌 37인용 수 7

한 줄 요약

이 논문은 할인 및 평균 비용 기준 하에서 이산시간 평균장 게임에 대해 모델에 의존하지 않는 학습 알고리즘을 제안하며, 평균장 균형(MFE) 연산자를 근사하기 위해 피팅된 Q-반복 기법을 사용한다. 저자들은 MFE 연산자가 수축임을 증명함으로써 확률적 오차 한계를 갖는 수렴성을 확립하고, 유한한 에이전트 환경에서 학습된 정책이 근사 넷쇼우 균형을 이룬다는 것을 보여준다.

ABSTRACT

We consider learning approximate Nash equilibria for discrete-time mean-field games with nonlinear stochastic state dynamics subject to both average and discounted costs. To this end, we introduce a mean-field equilibrium (MFE) operator, whose fixed point is a mean-field equilibrium (i.e. equilibrium in the infinite population limit). We first prove that this operator is a contraction, and propose a learning algorithm to compute an approximate mean-field equilibrium by approximating the MFE operator with a random one. Moreover, using the contraction property of the MFE operator, we establish the error analysis of the proposed learning algorithm. We then show that the learned mean-field equilibrium constitutes an approximate Nash equilibrium for finite-agent games.

연구 동기 및 목표

• 비선형 상태 동역학을 가진 대규모 인구의 스토케스틱 동적 게임에서 근사 넷쇼우 균형을 계산하는 학습 알고리즘을 개발한다.
• 이전의 정적 평균장 균형 연구를 확장하여, 할인 및 평균 비용 기준 하에서 수렴 보장이 있는 모델에 의존하지 않는 학습 접근법을 도입한다.
• 이론적 평균장 균형 존재성과 실용적 계산 간 격차를 메우기 위해 오차 분석을 포함한 학습 알고리즘을 제안한다.
• 학습된 평균장 균형 정책이 유한 에이전트 게임에서 근사 넷쇼우 균형으로 기능하는지 보여준다.
• MFE 연산자의 수축 성질을 이용하여 제안된 학습 알고리즘의 수렴 속도와 오차 한계를 확립한다.

제안 방법

• 고정점이 정적 평균장 균형에 해당하는 평균장 균형(MFE) 연산자를 도입한다.
• 약한 정칙 조건 하에서 MFE 연산자가 수축 사상임을 증명함으로써 수렴 보장을 확보한다.
• 샘플된 데이터를 사용하여 MFE 연산자를 근사하기 위해 피팅된 Q-반복 기반의 모델에 의존하지 않는 학습 알고리즘을 제안한다.
• 알 수 없는 시스템 동역학을 다루기 위해 MFE 연산자의 무작위 근사 기법을 사용하여 실제 환경 적용 가능성을 확보한다.
• 수축 성질을 기반으로 한 오차 분석을 통해 학습된 정책과 진정한 MFE 정책 간의 이격도를 제한한다.
• 학습된 정책을 활용하여 유한 에이전트 게임의 근사 넷쇼우 균형을 구성하며, NCE 원리를 활용한다.

실험 결과

연구 질문

• RQ1 할인 및 평균 비용 기준 하에서 이산시간 스토케스틱 평균장 게임에 대해 모델에 의존하지 않는 학습 알고리즘을 개발할 수 있는가?
• RQ2 제안된 학습 알고리즘이 정량화된 확률적 수렴 속도로 진정한 평균장 균형에 수렴하는가?
• RQ3 MFE 연산자의 수축 성질을 어떻게 활용하여 학습 알고리즘의 오차 한계를 확립할 수 있는가?
• RQ4 학습된 평균장 균형 정책이 유한 에이전트 게임에서 얼마나 근사 넷쇼우 균형으로 기능하는가?
• RQ5 피팅된 Q-반복 기법이 이 맥락에서 안정적이고 수렴 가능한 학습 과정을 제공하기 위한 충분한 조건는 무엇인가?

주요 결과

• 약한 정칙 조건 하에서 평균장 균형(MFE) 연산자가 수축 사상임을 증명하여 균형의 존재성과 유일성을 보장한다.
• 피팅된 Q-반복 기반의 제안된 학습 알고리즘이 MFE 연산자의 수축 성질에 기반하여 진정한 MFE 정책으로 수렴하며, 확률적 수렴 속도를 확보한다.
• 수축 계수와 함수 클래스의 커버링 수를 이용하여 학습된 정책과 진정한 MFE 정책 간의 오차를 제한한다.
• 학습된 정책은 에이전트 수가 증가할수록 근사 품질이 향상되는 유한 에이전트 게임의 근사 넷쇼우 균형을 구성한다.
• 알고리즘은 할인 비용 및 평균 비용 기준 모두에 적용 가능하여 이전 연구에서 제한된 특정 비용 구조로 확장된다.
• 학습 과정에서의 근사 오차를 제어하기 위해 리프시츠 연속 함수의 무한노름에 대한 이론적 한계를 사용한다.