[논문 리뷰] A Hybrid Optimal Control Approach to LQG Mean Field Games with Switching and Stopping Strategies.

Dena Firoozi, Ali Pakniyat외 1명|arXiv (Cornell University)|2018. 10. 06.

Stochastic processes and financial applications참고 문헌 14인용 수 3

한 줄 요약

이 논문은 한 명의 주요 에이전트와 두 개의 하위집단으로 나뉘는 소수의 에이전트를 가진 비협력적 확률적 게임에서 $\text{5c}$-나시 균형을 도출하기 위해 평균장 게임(Mean Field Game, MFG) 이론과 선형 제곱 가우시안(LQG) 이론을 융합한 하이브리드 최적 제어 프레임워크를 제안한다. 이 방법은 이산 상태를 통해 스위칭 동역학과 정지 시간을 모델링하여, 제곱형 비용 기준 하에 모든 에이전트의 최적 스위칭 및 정지 전략과 최적 반응 제어를 도출한다.

ABSTRACT

A novel framework is presented that combines Mean Field Game (MFG) theory and Hybrid Optimal Control (HOC) theory to obtain a unique $\epsilon$-Nash equilibrium for a non-cooperative game with stopping times. We consider the case where there exists one major agent with a significant influence on the system together with a large number of minor agents constituting two subpopulations, each with individually asymptotically negligible effect on the whole system. Each agent has stochastic linear dynamics with quadratic costs, and the agents are coupled in their dynamics by the average state of minor agents (i.e. the empirical mean field). The hybrid feature enters via the indexing by discrete states: (i) the switching of the major agent between alternative dynamics or (ii) the termination of the agents' trajectories in one or both of the subpopulations of minor agents. Optimal switchings and stopping time strategies together with best response control actions for, respectively, the major agent and all minor agents are established with respect to their individual cost criteria by an application of LQG HOC theory.

연구 동기 및 목표

• 주요 에이전트와 소수의 에이전트가 포함된 비협력적 확률적 게임을 다루기 위해, 개별 영향력이 渐진적으로 무시 가능할 정도로 큰 수의 소수 에이전트를 고려한다.
• 에이전트가 스위칭 동역학 또는 종료(정지 시간)를 경험하는 시스템을 이산 상태 색인을 통해 모델링한다.
• 제곱형 비용 함수 기준 하에 주요 에이전트와 소수 에이전트 모두의 최적 제어 전략—스위칭 및 정지 전략—을 수립한다.
• LQG 이론과 하이브리드 최적 제어 이론을 융합하여 유일한 $\text{5c}$-나시 균형을 도출한다.
• 소수 에이전트의 경험적 평균장이 주어질 때, 에이전트 동역학을 결합함으로써 균형의 강건성을 확보한다.

제안 방법

• 이산 상태가 동역학 간 전환 또는 에이전트 궤적의 종료를 나타내는 하이브리드 최적 제어(HOC) 구조를 수립한다.
• 선형 확률적 동역학과 제곱형 비용 함수 기준 하에 최적 제어 문제를 LQG 이론을 적용하여 해결한다.
• 에이전트 간의 결합을 경험적 평균장(소수 에이전트의 평균 상태를 나타냄)을 통해 모델링한다.
• 하이브리드 설정에서 동적 프ogramming과 하미르톤-자코비-벨리만 방정식을 사용하여 모든 에이전트의 최적 반응 제어 행동을 유도한다.
• MFG와 HOC 프레임워크의 상호작용을 통해 $\text{5c}$-나시 균형의 존재를 확립한다.
• 두 하위집단 구조를 사용한다: 소수 에이전트는 각각 다른 동역학과 정지 행동을 가지는 두 그룹으로 분할된다.

실험 결과

연구 질문

• RQ1 스위칭 및 정지 전략을 포함하는 시스템에서 하이브리드 최적 제어 프레임워크는 어떻게 평균장 게임 동역학을 확장할 수 있는가?
• RQ2 한 명의 주요 에이전트와 두 개의 하위집단 소수 에이전트를 포함한 비협력적 게임에서 유일한 $\text{5c}$-나시 균형이 존재하기 위한 조건은 무엇인가?
• RQ3 스위칭 동역학과 정지 시간은 제곱형 비용 기준 하에 주요 에이전트와 소수 에이전트의 최적 제어 전략에 어떤 영향을 미치는가?
• RQ4 소수 에이전트의 경험적 평균장은 하이브리드 LQG 설정에서 균형 전략에 어떤 방식으로 영향을 미치는가?
• RQ5 LQG와 HOC 이론의 조합은 대규모 인구의 확률적 게임에서 스위칭 및 정지 전략에 대해 해석 가능하고 최적의 제어 정책을 도출할 수 있는가?

주요 결과

• 이 프레임워크는 주요 에이전트와 두 개의 하위집단 소수 에이전트를 포함한 비협력적 게임에서 유일한 $\text{5c}$-나시 균형을 성공적으로 확립하였다.
• LQG와 HOC 이론의 융합을 통해 주요 에이전트와 소수 에이전트 각각에 대해 최적의 스위칭 및 정지 시간 전략이 도출되었다.
• 소수 에이전트의 경험적 평균장에 의한 결합은 개별 영향력이 渐진적으로 무시 가능함과 동시에 전체 시스템의 상호작용을 유지함을 보장한다.
• 하이브리드 제어 설정에서 동적 프로그래밍과 하미르톤-자코비-벨리만 방정식을 사용하여 모든 에이전트의 최적 반응 제어 행동이 명시적으로 특성화되었다.
• 스위칭 및 종료를 위한 이산 상태를 포함하는 하이브리드 구조는 대규모 확률적 게임에서 복잡한 에이전트 행동을 모델링할 수 있게 한다.
• 해결 프레임워크는 확장 가능하며, 스위칭 동역학과 유한 수명 정지 행동을 모두 보이는 시스템에 적용 가능하다.