[논문 리뷰] Stochastic nonzero-sum games: a new connection between singular control and optimal stopping

Tiziano De Angelis, Giorgio Ferrari|arXiv (Cornell University)|2016. 01. 21.

Stochastic processes and financial applications참고 문헌 48인용 수 36

한 줄 요약

이 논문은 최적 정지의 두 플레이어 비영제로 스토크라스틱 게임과 비영제 제어 사이의 새로운 연결 고리를 확립한다. 정지 게임에서 두 개의 다른 경계에 도달할 때 발생하는 나시 균형이 스코로코드 반사에 의해 비영제 제어 게임의 나시 균형으로 이어짐을 보여주며, 비영제 제어 게임의 플레이어 가치 함수는 최적 정지 게임의 가치 함수를 통합함으로써 도출된다. 이는 두 프레임워크 간의 미분적 연결 고리를 제공한다.

ABSTRACT

In this paper we establish a new connection between a class of 2-player nonzero-sum games of optimal stopping and certain $2$-player nonzero-sum games of singular control. We show that whenever a Nash equilibrium in the game of stopping is attained by hitting times at two separate boundaries, then such boundaries also trigger a Nash equilibrium in the game of singular control. Moreover a differential link between the players' value functions holds across the two games.

연구 동기 및 목표

• 두 플레이어의 스토크라스틱 환경에서 최적 정지 게임과 비영제 제어 게임 간의 새로운 이론적 연결 고리를 확립하는 것.
• 임계값 유형 전략을 사용하는 최적 정지 게임에서의 나시 균형이 비영제 제어 게임의 균형으로 어떻게 대응되는지 조건을 규명하는 것.
• 두 게임 간의 가치 함수 사이의 미분적 관계를 유도하여 서로 다른 프레임워크 간의 해를 변환할 수 있도록 하는 것.
• 기존의 비영제 제어와 최적 정지 간의 연결 고리를 단일 플레이어 및 영제 설정을 초월하여 비영제 전략적 상호작용로 확장하는 것.
• 일차원 확산 과정에서의 경계 행동 분석과 검증 정리들을 통해 대응 관계를 검증하는 것.

제안 방법

• 저자들은 두 플레이어의 비영제로 게임을 모델링한다: 하나는 확산 과정 X의 최적 정지를 포함하고, 다른 하나는 관련된 확산 과정 X̃의 비영제 제어를 포함한다.
• 정지 게임에서의 나시 균형은 두 개의 서로 다른 경계 a*와 b*에 도달하는 시간으로 정의되며, 플레이어는 구간 (a*, b*)을 벗어날 때 퇴장한다.
• 비영제 제어 게임에서는 플레이어가 X̃이 [a*, b*] 내부에 머무르도록 단조 증가 제어를 적용하며, 제어 노력 최소화를 위해 스코로코드 반사를 사용한다.
• 비영제 제어 게임의 가치 함수는 최적 정지 게임의 대응 가치 함수를 통합함으로써 구성된다.
• 해당 연결 고리는 균형 전략이 두 게임 간에 동치임을 확인하는 검증 정리를 통해 공식화된다.
• 분석은 일차원 이토 확산, 하미르톤-자코비-벨리만 방정식, 제어된 동적 하에서의 반사 확산의 성질에 기반한다.

실험 결과

연구 질문

• RQ1 두 플레이어의 비영제로 최적 정지 게임에서의 나시 균형이 관련된 비영제 제어 게임의 나시 균형으로 대응되는 조건은 무엇인가?
• RQ2 비영제 제어 게임에서 두 플레이어의 가치 함수는 최적 정지 게임의 가치 함수와 어떻게 관련이 있는가?
• RQ3 최적 정지 게임에서 정지 시점을 유도하는 임계값을 사용하여 비영제 제어 게임에서 스코로코드 반사 정책을 정의할 수 있는가? 이 정책이 나시 균형을 유도하는가?
• RQ4 비용 및 보상 함수 G_i와 L_i의 구조가 두 게임 간의 대응 관계를 보장하는 데 어떤 역할을 하는가?
• RQ5 두 게임의 가치 함수 간의 미분적 관계는 기저의 확률적 역학과 경계 조건으로부터 어떻게 유도되는가?

주요 결과

• 최적 정지 게임에서 두 개의 서로 다른 경계 a*와 b*에 도달하는 정지 시간으로 달성된 나시 균형은 스코로코드 반사를 통해 비영제 제어 게임에서 대응하는 나시 균형을 유도한다. 이 과정에서 과정은 [a*, b*] 내부에 유지된다.
• 비영제 제어 게임에서 각 플레이어의 가치 함수는 최적 정지 게임의 대응 가치 함수를 통합함으로써 도출되며, 이는 두 프레임워크 간의 미분적 연결 고리를 확립한다.
• 기저 확산 과정의 국소 평균 및 분산 계수에 대한 정규성 조건과, 두 게임 간 일致하는 비용/보상 함수 G_i와 L_i가 성립할 경우, 대응 관계가 유지된다.
• 정지 게임에서의 임계값 유형 나시 균형의 존재는 비영제 제어 게임에서 최소 제어 노력 정책(스코로코드 반사)이 나시 균형을 구성함을 시사한다.
• 이 결과는 기존의 비영제 제어와 최적 정지 간의 연결 고리를 단일 플레이어 및 영제 설정을 초월하여 비영제 전략적 상호작용로 확장함으로써, 이러한 연결 고리의 적용 범위를 넓힌다.
• 이전 연구의 반례들은 이러한 연결 고리가 자동으로 성립하지 않음을 보여주지만, 본 논문은 비영제 설정에서 이러한 연결 고리가 안정적으로 유지되기 위한 충분 조건을 규명한다.