[논문 리뷰] Mild and weak solutions of Mean Field Games problem for linear control systems

Piermarco Cannarsa, Cristian Mendico|arXiv (Cornell University)|2019. 07. 04.

Guidance and Control Systems참고 문헌 3인용 수 4

한 줄 요약

이 논문은 $ℝ^d$ 상에서 선형 제어 역학을 갖는 1차 평균장 게임에 대해 온화한 해와 약한 해의 존재성과 유일성을 확립한다. 경로 공간 상의 측도를 이용한 라그랑주 프레임워크를 도입하여 나시 균형을 정의하고, 균형 분포의 호일더 연속성과 가치 함수의 분수 차수 반볼록성(분수 semiconcavity)을 증명하며, 고정점 정리와 동적계획법 원리를 통해 온화한 해와 약한 해의 동치성을 보인다.

ABSTRACT

The aim of this paper is to study first order Mean field games subject to a linear controlled dynamics on $\\mathbb R^{d}$. For this kind of problems, we define Nash equilibria (called Mean Field Games equilibria), as Borel probability measures on the space of admissible trajectories, and mild solutions as solutions associated with such equilibria. Moreover, we prove the existence and uniqueness of mild solutions and we study their regularity: we prove H\\"older regularity of Mean Field Games equilibria and fractional semiconcavity for the value function of the underlying optimal control problem. Finally, we address the PDEs system associated with the Mean Field Games problem and we prove that the class of mild solutions coincides with a suitable class of weak solutions.

연구 동기 및 목표

• 1차 평균장 게임의 균형을 선형 제어 역학을 갖는 경로 공간 상의 라그랑주 형식을 사용하여 정의하고 분석한다.
• 경로 공간 상의 Borel 확률측도 공간에서 고정점 정리를 통해 온화한 해의 존재성과 유일성을 확립한다.
• 가치 함수의 정규성과 에이전트 분포의 시간에 따른 변화를 분석하며, 특히 호일더 연속성과 분수 차수 반볼록성에 중점을 둔다.
• 경로 공간 상의 균형으로 정의된 온화한 해와 관련된 PDE 시스템의 약한 해 사이의 동치성을 증명한다.
• 라그랑주 함수에 대한 추가 가정 하에 정규성 결과를 확장하며, 균형 분포의 리프시츠 연속성과 가치 함수의 선형 반볼록성을 포함한다.

제안 방법

• 상태 역학을 $\dot{\gamma}(t) = A\gamma(t) + Bu(t)$ 로 정의하며, $A, B$ 는 실수 행렬이고 $u$ 는 $L^2$ 에 속하는 적합한 제어이다.
• 절대 연속 경로로 이루어진 공간 $\Gamma_T$ 를 정의하고, 일차 모멘트가 유한한 $\Gamma_T$ 상의 Borel 확률측도 $\eta$ 를 고려한다.
• 시간 $t$ 에서의 평가 사상 $e_t$ 를 이용해 측도의 흐름 $m_t = e_t \sharp \eta$ 를 정의하며, 이는 에이전트의 분포를 나타낸다.
• 비용 기능 $\int_0^T L(\gamma(s), u(s), m_s)\,ds + G(\gamma(T), m_T)$ 의 최소화 경로에 지지된 측도 $\eta$ 로 나시 균형을 정의한다.
• 라그랑주 함수 $L$, 종료 비용 $G$, 제어 구조에 대한 적절한 가정 하에 확률측도 공간에서 고정점 정리를 적용하여 균형의 존재성과 유일성을 증명한다.
• 경로 흐름에 대한 동적계획법과 추정을 이용해 가치 함수 $V(t,x)$ 의 리프시츠 연속성과 반볼록성 정규성을 유도하며, 이와 $m_t$ 의 정규성과의 관계를 규명한다.

실험 결과

연구 질문

• RQ1 선형 제어 시스템과 1차 역학을 갖는 평균장 게임에 대해 어떤 조건에서 균형이 존재하는가?
• RQ2 기저 최적 제어 문제의 가치 함수 $V(t,x)$ 는 시간과 공간에서 어떤 정규성 성질을 가지는가?
• RQ3 균형 상태에서 에이전트 분포 $m_t$ 의 시간에 따른 진화는 얼마나 정규적인가? 특히 리프시츠 연속성 조건은 무엇인가?
• RQ4 경로 공간 상의 균형으로 정의된 온화한 해와 평균장 게임 문제와 관련된 PDE 시스템의 약한 해 사이의 관계는 무엇인가?
• RQ5 라그랑주 함수와 종료 비용에 대한 최소한의 가정 하에 가치 함수에 대해 분수 차수 반볼록성 추정을 확립할 수 있는가?

주요 결과

• 가치 함수 $V(t,x)$ 는 $[0,T] \times \mathbb{R}^d$ 상에서 국소적으로 리프시츠 연속이며, $D_xL$, $u^*$, $G$ 의 유계성에 따라 리프시츠 상수에 의존한다.
• 표준 가정 하에 분포 $m_t$ 는 시간에 대해 $\frac{1}{2}$-호일더 연속이며, 즉 $\|m_t - m_s\|_{\text{TV}} \leq C|t-s|^{1/2}$ 를 만족한다.
• 가치 함수 $V(t,x)$ 는 국소적으로 공간에 대해 반볼록이며, 시간에 대해 분수 차수 반볼록성을 가지며, 특정한 $\alpha \in (0,1)$ 에 대해 $V(t,x) + C|t-s|^{\alpha}$ 가 $t$ 에 대해 볼록이다.
• 라그랑주 함수에 대한 추가 가정 하에 균형 분포 $m_t$ 는 시간에 대해 리프시츠 연속이 되며, 이는 $V$ 의 시간에 대한 선형 반볼록성을 이끌어낸다.
• 경로 공간 상의 균형으로 정의된 온화한 해의 클래스는 약한 해의 클래스와 일치한다. 이는 쌍대성과 약한 공식화 기법을 통해 증명된다.
• 가치 함수의 리프시츠 정규성 증명은 궤적 민감도 추정과 $D_xL$ 의 유계성에 기반하며, $\|A\|$, $T$, $\|u^*\rangle_{L^2}$ 에 명시적인 의존성을 포함한다.