[논문 리뷰] Mean-Field Linear-Quadratic Stochastic Differential Games in an Infinite Horizon

Xun Li, Jingtao Shi외 1명|arXiv (Cornell University)|2020. 07. 12.

Stochastic processes and financial applications참고 문헌 51인용 수 5

한 줄 요약

이 논문은 무한 시간 영역에서 두 인용자에 대한 평균장 선형-제곱수학적 확률 미분 게임에 대해 개방 루프 및 폐쇄 루프 내쉬 균형의 존재성과 특성화를 확립한다. 이는 평균장 LQ 최적 제어 문제에서 개방 루프 가용성과 폐쇄 루프 가용성이 동치임을 증명하고, 연관된 대수 Riccati 방정식과 안정해를 통해 균형을 특성화한다.

ABSTRACT

This paper is concerned with two-person mean-field linear-quadratic non-zero sum stochastic differential games in an infinite horizon. Both open-loop and closed-loop Nash equilibria are introduced. Existence of an open-loop Nash equilibrium is characterized by the solvability of a system of mean-field forward-backward stochastic differential equations in an infinite horizon and the convexity of the cost functionals, and the closed-loop representation of an open-loop Nash equilibrium is given through the solution to a system of two coupled non-symmetric algebraic Riccati equations. The existence of a closed-loop Nash equilibrium is characterized by the solvability of a system of two coupled symmetric algebraic Riccati equations. Two-person mean-field linear-quadratic zero-sum stochastic differential games in an infinite time horizon are also considered. Both the existence of open-loop and closed-loop saddle points are characterized by the solvability of a system of two coupled generalized algebraic Riccati equations with static stabilizing solutions. Mean-field linear-quadratic stochastic optimal control problems in an infinite horizon are discussed as well, for which it is proved that the open-loop solvability and closed-loop solvability are equivalent.

연구 동기 및 목표

• 무한 시간 영역에서 두 인용자 비영합계 평균장 선형-제곱수학적 확률 미분 게임에 대한 체계적인 이론을 개발하기 위해.
• 앞서-뒤로 연결된 확률 미분 방정식과 대수 Riccati 방정식에 대한 가용성 조건을 이용해 개방 루프 및 폐쇄 루프 내쉬 균형의 존재성을 특성화하기 위해.
• 기존의 무한 시간 영역 LQ 제어 및 영합계 게임 결과를 평균장 설정으로 확장하여, 개방 루프와 폐쇄 루프 가용성 간의 동치성 포함하기 위해.
• 정적 안정해를 갖는 일반화된 대수 Riccati 방정식을 통해 영합계 평균장 LQ 게임에서의 안정점 존재성을 조사하기 위해.
• 미래 연구를 위해 열어두는 문제: 영합계 게임에서 개방 루프와 폐쇄 루프 안정점 간의 동치성은 무엇인지?

제안 방법

• 대규모 인구 집단 내 상호작용을 모델링하기 위해 상태 및 제어의 기대값을 포함한 평균장 확률 미분 방정식(MF-SDE)을 도입한다.
• 시간에 따라 변하는 계수를 갖는 상태, 제어 및 그 기대값의 이차형식으로 비용 기능을 정의한다.
• 평균장 전-후 확률 미분 방정식(MF-FBSDE)의 가용성과 비용 기능의 볼록성에 의해 개방 루프 내쉬 균형을 특성화한다.
• 두 개의 결합된 비대칭 대수 Riccati 방정식의 해를 통해 개방 루프 균형의 폐쇄 루프 표현을 유도한다.
• 두 개의 결합된 대칭 대수 Riccati 방정식의 가용성에 의해 폐쇄 루프 내쉬 균형의 존재성을 확립한다.
• 영합계 게임은 정적 안정해를 갖는 일반화된 대수 Riccati 방정식을 사용하여 분석하고, 최적 제어 문제에서 개방 루프와 폐쇄 루프 가용성 간의 동치성을 증명한다.

실험 결과

연구 질문

• RQ1 무한 시간 영역 평균장 LQ 확률 미분 게임에서 개방 루프 내쉬 균형이 존재하기 위한 조건은 무엇인가?
• RQ2 대수 Riccati 방정식의 관점에서 개방 루프 내쉬 균형의 폐쇄 루프 표현은 어떻게 특성화할 수 있는가?
• RQ3 이 평균장 설정에서 폐쇄 루프 내쉬 균형이 존재하기 위한 조건은 무엇인가?
• RQ4 영합계 평균장 LQ 게임에서 안정점은 어떻게 일반화된 대수 Riccati 방정식을 통해 특성화되는가?
• RQ5 표준 LQ 제어에서 알려진 개방 루프와 폐쇄 루프 가용성 간의 동치성은 평균장 LQ 확률 설정에서도 유지되는가?

주요 결과

• 개방 루프 내쉬 균형이 존재하는 것은 해당 평균장 전-후 확률 미분 방정식 시스템의 가용성과 비용 기능의 볼록성과 동치이다.
• 개방 루프 내쉬 균형의 폐쇄 루프 표현은 두 개의 결합된 비대칭 대수 Riccati 방정식의 해로 주어진다.
• 폐쇄 루프 내쉬 균형이 존재하는 것은 두 개의 결합된 대칭 대수 Riccati 방정식 시스템의 가용성과 동치이다.
• 영합계 게임에서는 개방 루프 및 폐쇄 루프 안정점이 존재하는 것은 정적 안정해를 갖는 두 개의 결합된 일반화된 대수 Riccati 방정식 시스템의 가용성과 동치이다.
• 무한 시간 영역 평균장 LQ 최적 제어 문제에서 개방 루프 가용성과 폐쇄 루프 가용성은 동치이다.
• 논문은 핵심적인 열린 질문을 규명한다: 영합계 평균장 LQ 게임에서 개방 루프와 폐쇄 루프 안정점 간의 동치성은 여전히 해결되지 않은 상태이다.