[논문 리뷰] Discrete-time Risk-sensitive Mean-field Games

Naci Saldı, Tamer Başar외 1명|arXiv (Cornell University)|2018. 08. 12.

Stochastic processes and financial applications참고 문헌 2인용 수 5

한 줄 요약

이 논문은 일반적인 폴란드 상태 및 행동 공간과 유계 단계 비용을 갖는 이산시간 위험 민감(mean-field) 게임에서, 지수_utility를 통해 위험 민감성을 모델링함으로써 무한 시간 할인 비용 기준 하에 평균장 균형의 존재를 확립한다. 이는 큰 유한한 인구집단에서 평균장 균형 정책이 근사 넷저 균형을 이룬다는 것을 증명하며, 일반적인 폴란드 상태 및 행동 공간과 유계 비용 함수를 갖는 이산시간에서 위험 민감 제어를 평균장 게임 이론으로 확장한 최초의 연구이다.

ABSTRACT

In this paper, we study a class of discrete-time mean-field games under the infinite-horizon risk-sensitive discounted-cost optimality criterion. Risk-sensitivity is introduced for each agent (player) via an exponential utility function. In this game model, each agent is coupled with the rest of the population through the empirical distribution of the states, which affects both the agent's individual cost and its state dynamics. Under mild assumptions, we establish the existence of a mean-field equilibrium in the infinite-population limit as the number of agents ($N$) goes to infinity, and then show that the policy obtained from the mean-field equilibrium constitutes an approximate Nash equilibrium when $N$ is sufficiently large.

연구 동기 및 목표

• 위험 민감성은 지수_utility를 통해 모델링된 이산시간 시스템에 대해 평균장 게임 이론을 확장한다.
• 일반적인 폴란드 상태 및 행동 공간과 유계 단계 비용 하에서, 무한 인구집단 극한에서 평균장 균형의 존재를 확립한다.
• 큰 유한한 수의 에이전트를 가진 게임에서 평균장 균형 정책이 근사 넷저 균형을 구성한다는 것을 보여준다.
• 연속시간 위험 민감 평균장 게임과 그 이산시간 대응체 사이의 격차를 메운다. 이는 이전에 주로 위험 중립 설정에 국한되어 있었다.

제안 방법

• 각 에이전트의 비용과 동역학이 인구 상태의 경험적 분포에 의존하는 이산시간 평균장 게임 모델을 수립한다.
• 지수_utility 함수를 도입하여 위험 민감성을 도입함으로써 각 에이전트에 대한 위험 민감 할인 비용 기준을 도출한다.
• 무한 인구집단 게임을 단일 에이전트 스토하스틱 제어 문제로 분해하기 위해 넷저 확실성 등가(NCE) 원리를 적용한다. 이때 분포 제약 조건이 존재한다.
• 한계 상태 분포의 진화를 기술하기 위해 포크너-플랭크(Fokker-Planck) 방정식을 사용하고, 최적 정책을 기술하기 위해 하밀턴-자코비-벨리만(HJB) 방정식을 사용한다.
• 약한 수렴과 균일 등연속성 추론을 사용하여 경험적 분포의 수렴을 증명한다.
• 평균장 균형 정책 하에서 에이전트 상태의 경험적 분포가 한계 분포로 수렴함을 확립하여 일致성을 보장한다.

실험 결과

연구 질문

• RQ1 일반적인 폴란드 상태 및 행동 공간과 유계 비용 함수를 갖는 이산시간 위험 민감 평균장 게임에서 평균장 균형이 존재하는가?
• RQ2 평균장 균형에서 유도된 정책이 대규모 유한 인구집단 게임에서 근사 넷저 균형으로 기능할 수 있는가?
• RQ3 지수_utility를 통해 모델링된 위험 민감성은 이산시간 평균장 게임의 균형의 구조와 존재성에 어떤 영향을 미치는가?
• RQ4 무한 인구집단 극한에서 에이전트 상태의 경험적 분포가 한계 분포로 수렴하는 데 필요한 조건은 무엇인가?
• RQ5 전이 커널과 비용 함수의 성질은 평균장 균형의 안정성과 연속성에 어떻게 영향을 미치는가?

주요 결과

• 논문은 일반적인 폴란드 상태 및 행동 공간과 유계 단계 비용을 갖는 이산시간 위험 민감 평균장 게임에서 무한 인구집단 극한에서 평균장 균형의 존재를 증명한다.
• 평균장 균형 정책이 충분히 큰 유한한 수의 에이전트를 가진 게임에서 근사 넷저 균형을 구성한다는 것이 입증된다.
• 약한 수렴과 균일 등연속성 추론을 통해 에이전트 상태의 경험적 분포가 한계 분포로 수렴함을 확립한다.
• 가치 함수의 집합과 전이 커널의 집합이 균일 유계이자 등연속임을 보여주어 한계에서의 안정성을 보장한다.
• 증명은 첫 번째 에이전트 상태의 경험적 분포가 한계 분포로 수렴하는 균일 수렴에 의존하며, 이는 NCE 원리의 검증에서 핵심 단계이다.
• 비용 함수의 유계성과 평균장 항에서의 전이 커널 및 비용 함수의 연속성과 같은 온건한 가정 하에 결과가 성립한다.