[논문 리뷰] Nonzero-sum stochastic games and mean-field games with impulse controls

Matteo Basei, Haoyang Cao외 1명|arXiv (Cornell University)|2019. 01. 23.

Stochastic processes and financial applications참고 문헌 40인용 수 11

한 줄 요약

이 논문은 비제로섬 스토케스틱 게임에 대한 나시 균형의 검증 프레임워크를 개발하며, 충격 제어를 포함한 N-플레이어 게임에 대해 충분한 조건을 설정하고, 평균장 게임(MFG) 해가 ϵ-Nash 균형을 제공함을 증명한다. 여기서 ϵ=O(1/√N)이다. 이 이론을 이중 플레이어 현금관리 게임에 적용하여, 경쟁이 개입 빈도를 줄이고 크기를 증가시켜 제어 효율성을 높임을 보였다.

ABSTRACT

We consider a general class of nonzero-sum $N$-player stochastic games with impulse controls, where players control the underlying dynamics with discrete interventions. We adopt a verification approach and provide sufficient conditions for the Nash equilibria (NEs) of the game. We then consider the limit situation of $N o \infty$, that is, a suitable mean-field game (MFG) with impulse controls. We show that under appropriate technical conditions, the existence of unique NE solution to the MFG, which is an $ε$-NE approximation to the $N$-player game, with $ε=O\left(\frac{1}{\sqrt{N}} ight)$. As an example, we analyze in details a class of two-player stochastic games which extends the classical cash management problem to the game setting. In particular, we present numerical analysis for the cases of the single player, the two-player game, and the MFG, showing the impact of competition on the player's optimal strategy, with sensitivity analysis of the model parameters.

연구 동기 및 목표

• 충격 제어를 포함한 비제로섬 N-플레이어 스토케스틱 게임에서 나시 균형이 존재하는 데 필요한 조건을 검증 방법을 통해 설정하기.
• N→∞일 때의 극한 행동을 분석하여, 해당 평균장 게임(MFG)에서 유일한 나시 균형이 존재하는 조건을 도출하기.
• MFG 해가 N-플레이어 게임의 ϵ-Nash 균형 근사치로 기능함을 보여주기.
• 이중 플레이어 현금관리 게임을 통해 경쟁이 최적 제어 전략에 미치는 영향을 분석하기.
• 단일 플레이어, 이중 플레이어, 평균장 게임 설정 간 최적 정책을 비교하기 위한 모델 파라미터에 대한 민감도 분석 수행하기.

제안 방법

• 충격 제어가 적용되는 스토케스틱 미분 방정식과 점프 동역학을 사용하여 N-플레이어 충격 제어 게임을 수립하며, 개입 시점에서의 디랙 델타 함수에 의해 구동된다.
• 실행 비용, 개별 제어 비용, 그리고 다른 플레이어의 개입으로 인한 상호작용 비용을 포함한 보상 기능을 정의한다.
• 충격 제어로 인해 비국소 연산자가 포함된 조건을 반영한, 나시 균형을 위한 필수 조건으로서의 준변분부등식(QVI) 시스템을 유도한다.
• 적절한 정규성 및 경계 조건 하에서 QVI의 해가 나시 균형과 대응함을 보여주는 검증 정리를 적용한다.
• N→∞일 때 상태의 경험적 분포를 고려하여 평균장 게임 극한을 구성하고, McKean–Vlasov 형식으로 이어진다.
• 계수 및 제어에 대한 적절한 기술적 가정 하에서 MFG 해가 N-플레이어 게임의 ϵ-Nash 균형임을 증명한다. 여기서 ϵ=O(1/√N)이다.

실험 결과

연구 질문

• RQ1 충격 제어를 포함한 비제로섬 N-플레이어 스토케스틱 게임에서 나시 균형이 존재하는 조건은 무엇인가?
• RQ2 이러한 게임의 평균장 게임 극한은 원래의 N-플레이어 게임과 균형 근사 측면에서 어떻게 관련이 있는가?
• RQ3 MFG 해가 N-플레이어 게임의 ϵ-Nash 균형으로 수렴하는 속도는 얼마인가?
• RQ4 경쟁은 단일 에이전트 설정과 비교해 최적의 충격 제어 전략에 어떻게 영향을 미치는가?
• RQ5 제어 비용, 변동성, 할인율의 변화가 게임에서 상태 과정의 임계값과 장기적 행동에 미치는 영향은 무엇인가?

주요 결과

• 논문은 준변분부등식(QVI) 시스템을 통한 N-플레이어 충격 제어 스토케스틱 게임에서 나시 균형에 대한 검증 정리를 수립하였다.
• 적절한 기술적 조건 하에서 평균장 게임(MFG)의 해는 N-플레이어 게임의 ϵ-Nash 균형이며, 여기서 ϵ=O(1/√N)이다.
• 이중 플레이어 현금관리 게임에서 경쟁은 단일 플레이어 사례와 비교해 더 적은 빈도로 개입하지만 더 큰 점프 크기를 유도한다.
• 민감도 분석 결과, 상태 감소의 고정 비용(K⁻)을 증가시키면 비행행동 영역의 상한 경계(u)가 상승하여 개입 빈도가 감소함을 확인하였다.
• 상태 증가의 고정 비용(K⁺)을 증가시키면 하한 경계(d)가 감소하여 역시 개입 빈도가 감소하며, K⁻와 K⁺가 모두 증가하면 점프 크기가 증가한다.
• 높은 변동성(σ) 또는 할인율(r)은 개입 빈도를 감소시키고 점프 크기를 증가시키며, 평균 상태 수준은 σ에 따라 증가하고, r에 따라 처음에는 증가하다가 감소함을 보였다.