[논문 리뷰] Nonzero-sum stochastic games with impulse controls

Matteo Basei, Haoyang Cao외 1명|arXiv (Cornell University)|2019. 01. 23.

Economic theories and models인용 수 7

한 줄 요약

이 논문은 인상 제어를 갖는 비제로 합 N-플레이어 스토케스틱 게임을 연구하며, 검증 접근법을 사용하여 내쉬 균형을 위한 충분조건을 도출한다. 평균장 게임의 인상 제어가 N-플레이어 게임에 대한 ϵ-내쉬 균형 근사로 기능하며, ϵ = 1/√N임을 입증한다. 이 틀을 일반화된 현금 관리 문제에 적용하여 경쟁이 단일 플레이어 경우와 비교해 최적 전략에 어떻게 영향을 미치는지 보여준다.

ABSTRACT

We consider a general class of nonzero-sum $N$-player stochastic games with impulse controls, where players control the underlying dynamics with discrete interventions. We adopt a verification approach and provide sufficient conditions for the Nash equilibria (NEs) of the game. We then consider the limit situation of $N o \infty$, that is, a suitable mean-field game (MFG) with impulse controls. We show that under appropriate technical conditions, the MFG is an $\epsilon$-NE approximation to the $N$-player game, with $\epsilon=\frac{1}{\sqrt{N}}$. As an example, we analyze in details a class of stochastic games which extends the classical cash management problem to the game setting. In particular, we characterize the NEs for its two-player case and compare the results to the single-player case, showing the impact of competition on the player's optimal strategy, with sensitivity analysis of the model parameters.

연구 동기 및 목표

• N-플레이어 스토케스틱 게임에 인상 제어가 있는 내쉬 균형을 위한 충분조건을 개발하는 것.
• N → ∞로 갈 때의 극한 행동을 분석하여 평균장 게임(MFG) 공식화로 이어지는 것.
• MFG 해가 N-플레이어 게임에 대해 ϵ = 1/√N인 ϵ-내쉬 균형으로 수렴함을 입증하는 것.
• 고전적 현금 관리 문제를 게임 이론적 설정으로 확장하고 전략적 상호작용을 분석하는 것.
• 감도 분 析를 통해 경쟁이 최적 인상 제어 전략에 미치는 영향을 정량화하는 것.

제안 방법

• 결합된 쿼asi-변분부등식을 사용하는 검증 방법을 통해 내쉬 균형을 특성화하는 것.
• 이산적 간섭(인상 제어)를 갖는 제어된 점프-디퓨전 과정을 통해 플레이어의 역학을 모델링하는 것.
• 개입 제약 조건이 있는 연립 HJB 유사 방정식을 풀어 내쉬 균형을 위한 충분조건를 도출하는 것.
• N → ∞로 한계를 취하여 대표 플레이어와 제어의 경험적 분포를 갖는 평균장 게임 공식화를 유도하는 것.
• 상호작용의 구조에 대한 기술적 조건 하에서 MFG 해가 N-플레이어 게임의 ϵ-내쉬 균형으로 수렴함을 입증하는 것.
• 고전적 현금 관리 문제의 두 플레이어 확장에 이 틀을 적용하여 수치적으로 균형을 구하고 단일 플레이어 경우와 비교하는 것.

실험 결과

연구 질문

• RQ1 N-플레이어 스토케스틱 게임에 인상 제어가 있는 내쉬 균형이 존재하는 조건은 무엇인가?
• RQ2 평균장 게임 근사는 N-플레이어 게임을 얼마나 잘 대체하는가? 수렴 속도는 어떻게 되는가?
• RQ3 두 플레이어 현금 관리 게임에서 경쟁은 단일 플레이어 설정과 비교해 최적 인상 제어 전략에 어떻게 영향을 미치는가?
• RQ4 드리프트, 변동성, 개입 비용과 같은 모델 매개변수에 대해 균형 전략의 감도는 어떻게 되는가?
• RQ5 검증 방법은 일반적인 비제로 합 인상 제어 게임에서 균형을 체계적으로 특성화하는 데 적용될 수 있는가?

주요 결과

• 결합된 쿼اسي-변분부등식을 포함하는 검증 방법을 통해 N-플레이어 인상 제어 스토케스틱 게임의 내쉬 균형을 위한 충분조건가 도출되었다.
• 적절한 기술적 조건 하에서 인상 제어를 갖는 평균장 게임은 N-플레이어 게임에 대한 ϵ = 1/√N인 ϵ-내쉬 균형 근사로 기능한다.
• 고전적 현금 관리 문제의 두 플레이어 확장에서, 경쟁은 단일 플레이어 경우보다 더 적극적인 개입 전략을 유도한다.
• 감도 분석은 균형에서의 개입 빈도와 임계값이 상대방의 제어 전략과 비용 매개변수에 의해 크게 영향을 받음을 보여준다.
• 게임 설정에서의 균형 구조는 단일 에이전트 경우의 최적 제어와 질적으로 다름을 보이며, 전략적 보완성 또는 대체 효과가 있음을 시사한다.
• MFG 근사의 수렴 속도는 ϵ = 1/√N로 정량화되었으며, 이는 인상 제어 게임에서 평균장 근사의 엄밀한 오차 한계를 제공한다.