[논문 리뷰] Stackelberg Mean Field Games: convergence and existence results to the problem of Principal with multiple Agents in competition

Mao Fabrice Djete|arXiv (Cornell University)|2023. 08. 28.

Complex Systems and Time Series Analysis인용 수 4

한 줄 요약

이 논문은 도덕적 해고 상황에서 다수의 경쟁하는 에이전트를 가진 주도자(Principal)에 대해 스택엘베르크 평균장 게임 모델을 연구한다. 계약은 마코프가 아니며 에이전트 상태와 제어의 경험분포에 의존한다. 논문은 n에이전트 문제의 수렴성을 근사적으로 최적의 계약이 경험분포의 함수임을 증명함으로써, 일반적인 계약 구조 하에서도 주도자가 경험분포의 함수로 계약을 제안하는 것이 근사적으로 최적임을 보여준다.

ABSTRACT

In a situation of moral hazard, this paper investigates the problem of Principal with $n$ Agents when the number of Agents $n$ goes to infinity. There is competition between the Agents expressed by the fact that they optimize their utility functions through a Nash equilibrium criterion. Each Agent is offered by the Principal a contract which is divided into a Markovian part involving the state/production of the Agent and a non--Markovian part involving the states/productions of all the other Agents. The Agents are in interactions. These interactions are characterized by common noise, the empirical distribution of states/productions and controls, and the contract which is not assumed to be a map of the empirical distribution. By the help of the mean field games theory, we are able to formulate an appropriate $limit$ problem involving a Principal with a $representative$ Agent. We start by solving the problem of both the Principal and the $representative$ Agent in this $limit$ problem. Then, when $n$ goes to infinity, we show that the problem of Principal with $n$ Agents converges to the $limit$ problem of Principal with a $representative$ Agent. A notable result is that, despite allowing a general type of contracts, it is approximately optimal for the Principal to offer contracts to the $n$ Agents that are maps of the empirical distribution of states/productions and controls of the Agents.

연구 동기 및 목표

• 관찰할 수 없는 에이전트 행동을 가진 도덕적 해고 상황에서 n명의 경쟁 에이전트를 가진 주도자-에이전트 문제를 분석한다.
• 공통 노이즈, 상태/제어의 경험분포, 비마코프 성격을 가진 계약을 통해 에이전트 간 상호작용을 모델링한다.
• 평균장 게임 이론을 사용하여 n에이전트 시스템을 대표 에이전트 프레임워크로 단순화한 한계 문제를 수립한다.
• n에이전트 문제의 수렴성을 입증하여 근사 균형과 최적 계약 간의 일致성을 확보한다.
• 일반적인 계약 형태가 허용됨에도 불구하고, 주도자가 에이전트 상태와 제어의 경험분포의 함수인 계약을 제안하는 것이 근사적으로 최적임을 입증한다.

제안 방법

• 모든 에이전트의 상태와 제어의 경험분포에 의존하는 비마코프 성격의 계약을 가진 n에이전트 주도자-에이전트 문제를 수립한다.
• 평균장 게임 이론을 적용하여 n → ∞일 때의 점근적 행동을 반영하는 대표 에이전트를 포함한 한계 문제를 유도한다.
• 주어진 계약 하에서 에이전트의 최적화 문제를 해결하기 위해 역방향 확률미분방정식(BSDEs)을 사용한다.
• 한계 문제에서 주도자의 문제를 해결하기 위해 확률적 제어 기법을 적용하며, 대표 에이전트의 계속 유용성과 생산량을 최적화한다.
• ε-근사 나이시 균형과 계약 수열을 사용하여 양방향 근사 방법을 통해 수렴성을 확립한다: n에이전트 문제에서 한계 문제로, 그리고 그 반대로.
• 한계 계약이 주도자에게 최적임을 입증하고, 적절한 조건 하에서 최적 반응의 수렴성을 보인다.

실험 결과

연구 질문

• RQ1 n → ∞일 때, 경쟁하는 에이전트를 가진 n에이전트 주도자-에이전트 문제는 대표 에이전트를 가진 한계 문제로 수렴하는가?
• RQ2 한계 문제에서의 최적 계약을 사용하여 유한한 n에 대해 근사적으로 최적의 계약을 구성할 수 있는가?
• RQ3 에이전트 상태와 제어의 경험분포의 함수인 계약을 제안하는 것이 주도자에게 근사적으로 최적인가?
• RQ4 공통 노이즈, 경험측도, 비마코프 성격의 계약을 통한 상호작용이 수렴성과 최적성에 어떤 영향을 미치는가?
• RQ5 유한한 n에이전트 시스템의 근사 균형이 평균장 한계로 수렴하기 위한 조건은 무엇인가?

주요 결과

• 평균장 게임 프레임워크 하에서 n에이전트 문제는 대표 에이전트를 가진 한계 문제로 수렴하며, 계약과 최적 반응 모두 수렴한다.
• 한계 문제에서의 한계 계약은 주도자에게 최적이며, n에이전트에서의 수렴하는 근사 최적 반응 수열은 대표 에이전트의 최적 반응으로 수렴한다.
• 최적의 한계 계약과 관련된 최적 반응이 주어지면, 이로부터 n에이전트 시스템에 대한 (근사) 계약과 최적 반응을 구성할 수 있으며, 이는 한계에서의 일致성을 보장한다.
• 일반적인 비마코프 성격의 계약을 允허하더라도, 주도자가 에이전트 상태와 제어의 경험분포의 함수인 계약을 제안하는 것이 근사적으로 최적임을 입증한다.
• ε-근사 나이시 균형과 계약 수열을 사용하여 수렴성이 확립되며, liminf 및 limsup의 두 방향에서 수렴한다.
• 결과는 양방향 근사 방법을 통해 확립된다: 유한한 n에서 한계로의 수렴과, 한계에서 유한한 n으로의 재구성으로, BSDEs와 확률적 제어 기법을 사용한다.