[논문 리뷰] Linear-Quadratic Mean Field Games

Alain Bensoussan, Joseph J.�Y. Sung외 2명|arXiv (Cornell University)|2014. 04. 23.

Game Theory and Applications참고 문헌 17인용 수 32

한 줄 요약

이 논문은 고유한 해를 갖는 선형-제곱 평균장 게임(LQMFGs)의 균형 전략의 존재성과 유일성을 도함수 방정식 접근법을 통해 확립한다. 일차원 경우에 대해 고유한 해가 존재함을 증명하고, 다차원의 경우에 대해 바나흐 고정점 정리에 기반한 충분조건을 제시하며, 제어 계수에 의존하지 않고 평균장 계수가 0이 되는 경우 고전적 LQ 제어 문제에 대해 항상 성립한다.

ABSTRACT

In this article, we provide a comprehensive study of the linear-quadratic mean field games via the adjoint equation approach; although the problem has been considered in the literature by Huang, Caines and Malhame (HCM, 2007a), their method is based on Dynamic Programming. It turns out that two methods are not equivalent, as far as giving sufficient condition for the existence of a solution is concerned. Due to the linearity of the adjoint equations, the optimal mean field term satisfies a linear forward-backward ordinary differential equation. For the one dimensional case, we show that the equilibrium strategy always exists uniquely. For dimension greater than one, by choosing a suitable norm and then applying the Banach Fixed Point Theorem, a sufficient condition, which is independent of the solution of the standard Riccati differential equation, for the unique existence of the equilibrium strategy is provided. As a by-product, we also establish a neat and instructive sufficient condition for the unique existence of the solution for a class of non-trivial nonsymmetric Riccati equations. Numerical examples of non-existence of the equilibrium strategy and the comparison of HCM's approach will also be provided.

연구 동기 및 목표

• 일반적인 선형-제곱 평균장 게임(LQMFGs)의 클래스에서 균형 전략의 존재성과 유일성을 확립하는 것.
• LQMFGs에서 나타나는 정방향-역방향 상미분방정식을 분석하기 위해 도함수 방정식을 사용하는 체계적인 접근법을 개발하는 것.
• 바나흐 고정점 정리를 사용하여 다차원 LQMFGs에서 고유한 균형 존재성을 위한 충분조건을 제공하는 것.
• 제어 계수에 의존하지 않는 새로운 명시적 충분조건을 유도하여 비대칭 리카티 방정식의 해가 존재함을 보장하는 것.
• 이전의 연구, 예를 들어 Huang, Caines, and Malhamé (2007a)와 비교하여, 특정 경우에 더 넓은 적용 범위를 가짐을 보여주는 것.

제안 방법

• 도함수 방정식에서 유도된 정방향-역방향 확률미분방정식(FBSDEs)을 사용하여 LQMFG 문제를 수립한다.
• 상태의 기대값을 통해 평균장 항을 도입하여 정방향 및 역방향 상미분방정식의 결합된 시스템을 유도한다.
• 적절한 노름 공간에서 바나흐 고정점 정리를 적용하여 n차원 설정에서 균형 전략의 존재성과 유일성을 증명한다.
• 도함수 변수를 평균장 항 자체의 애핀 함수로 표현함으로써 비대칭 리카티 방정식을 도출한다.
• 관련된 이차 특성방정식의 고유값을 포함하는 명시적 해 공식을 사용하여 유도된 리카티 방정식을 해결한다.
• 특정 매개변수 영역에서 균형이 존재하지 않는 경우를 보여주는 수치 예제를 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 대규모의 에이전트를 가진 선형-제곱 평균장 게임에서 고유한 균형 전략이 존재하는 조건은 무엇인가?
• RQ2 도함수 방정식 접근법을 사용하여 LQMFGs에서 정방향-역방향 시스템의 해가 존재하는 조건을 유도할 수 있는가?
• RQ3 비대칭 리카티 방정식은 균형을 특성화하는 데 어떤 역할을 하는가? 언제 고유하게 해가 존재하는가?
• RQ4 제안된 방법은 Huang, Caines, and Malhamé (2007a)의 고정점 접근법에 비해 범위와 적용 가능성 측면에서 어떻게 다른가?
• RQ5 제어 매개변수에 의존하지 않고 시스템 계수에만 의존하는 리카티 방정식의 고유한 해가 존재하는 충분조건을 유도할 수 있는가?

주요 결과

• 일차원 경우에 대해 모든 매개변수 값에서 균형 전략이 존재하고 고유하다.
• 일차원을 초월하는 차원에서는 바나흐 고정점 정리를 사용하여 고유한 균형 존재성을 위한 충분조건이 도출되었으며, 이는 제어 계수에 의존하지 않고 평균장 계수가 0이 되는 경우 항상 성립한다.
• 이 논문은 기존 문헌(예: Freiling, 2002)에서 부재했던 비대칭 리카티 방정식의 일련의 클래스에 대해 고유한 해 존재성을 보장하는 새로운 명시적 충분조건을 제공한다.
• 해 존재성 조건이 제어 계수 $ b $ 에 의존하지 않으며, 항상 $ \rho \to 0 $ 일 때 성립함을 보여주며, 이는 문제를 고전적 LQ 제어 문제로 축소시킨다.
• 수치 예제를 통해 특정 매개변수 영역에서 균형이 존재하지 않는 경우를 검증함으로써 유도된 충분조건의 필수성을 입증한다.
• 제안된 방법은 이전의 접근법에 비해 더 일반적이고 검증 가능한 프레임워크를 제공하며, 특히 고차원에서 뛰어난 성능을 보이며 평균장 게임에서 나타나는 비대칭 리카티 방정식을 해결하는 데 새로운 길을 열어준다.