[논문 리뷰] Convex Analysis for LQG Systems with Applications to Major Minor LQG Mean-Field Game Systems

Dena Firoozi, Sebastian Jaimungal외 1명|arXiv (Cornell University)|2018. 10. 15.

Stochastic processes and financial applications참고 문헌 62인용 수 27

한 줄 요약

이 논문은 선형-정규분포 최적 제어 문제를 해결하기 위해 볼록 해석 접근법을 제안하고, 이를 주요-소수(mean-field) 게임(MFG) 시스템에 적용하여 평균장 진동에 대한 제약 조건 없이 $\epsilon$-내쉬 균형 전략을 도출한다. 이 방법은 게아르드(Gâteaux) 미분과 리카티 방정식을 활용하여 유한 및 무한 시간 영역 설정에서 주요 및 소수 에이전트의 최적 반응 제어를 특성화한다.

ABSTRACT

We develop a convex analysis approach for solving LQG optimal control problems and apply it to major-minor (MM) LQG mean-field game (MFG) systems. The approach retrieves the best response strategies for the major agent and all minor agents that attain an $\\epsilon$-Nash equilibrium. An important and distinctive advantage to this approach is that unlike the classical approach in the literature, we are able to avoid imposing assumptions on the evolution of the mean-field. In particular, this provides a tool for dealing with complex and non-standard systems.

연구 동기 및 목표

• 평균장 역학에 대한 제약 조건이 없는 LQG 최적 제어 문제를 해결하기 위한 볼록 해석 프레임워크를 개발하는 것.
• 한 명의 주요 에이전트가 대규모 소수 에이전트 집단과 상호작용하는 주요-소수 LQG 평균장 게임(MFG) 시스템으로 이 프레임워크를 확장하는 것.
• 유한 및 무한 시간 영역 설정에서 주요 및 소수 에이전트의 명시적 최적 반응 전략을 도출하여 $\epsilon$-내쉬 균형을 달성하는 것.
• 전통적인 평균장 진동에 대한 가정을 피함으로써 LQG MFG 시스템을 체계적으로 해결할 수 있는 방법을 제공하여 복잡하고 비표준적인 시스템에의 적용을 가능하게 하는 것.
• 감지 가능성(detectability), 안정가능성(stabilizability), 점근적 안정성 조건 하에서 고정점 방정식의 해의 존재성과 유일성을 확립하는 것.

제안 방법

• 스토케스틱 동적 시스템에서 최적성의 필요 조건으로 비용 기능의 게아르드(Gâteaux) 미분을 활용하는 것.
• 동적 프ogram밍이나 스토케스틱 최대 원리에 의존하지 않고, LQG 제어 문제에서 최적성의 필요 및 충분 조건을 유도하기 위해 볼록 해석을 적용하는 것.
• 비용 상태 및 오프셋 항에 대한 리카티 방정식과 선형 행렬 시스템을 통해 주요 및 소수 에이전트의 최적 반응 전략을 유도하는 것.
• 할인 비용 기준 하에서 시간 불변 리카티 행렬을 사용하여 무한 시간 영역의 경우를 대수적 리카티 방정식으로 해결하는 것.
• 고정점 방정식의 해의 존재성과 유일성을 보장하기 위해 시스템 행렬에 조건을 부과하는 것(안정성, 감지 가능성, 안정가능성 포함).
• 모집단 크기가 무한으로 갈 때 수렴 분석을 통해 유도된 전략과 $\epsilon$-내쉬 균형 간의 등가성을 확립하는 것.

실험 결과

연구 질문

• RQ1 평균장 진동에 대한 특정 법칙을 가정하지 않고도 볼록 해석 접근법을 사용하여 LQG 최적 제어 문제를 해결할 수 있는가?
• RQ2 평균장 게임 프레임워크에서 주요 에이전트와 대규모 소수 에이전트 집단의 최적 반응 전략을 어떻게 도출할 수 있는가?
• RQ3 주요-소수 LQG MFG 시스템에서 유도된 고정점 방정식의 해의 존재성과 유일성을 보장하는 조건은 무엇인가?
• RQ4 유도된 전략이 유한 및 무한 시간 영역 설정 모두에서 $\epsilon$-내쉬 균형을 어떻게 달성하는가?
• RQ5 이 볼록 프레임워크에서 최적 제어 법칙을 특성화하는 데 리카티 방정식과 게아르드(Gâteaux) 미분이 수행하는 역할은 무엇인가?

주요 결과

• 볼록 해석 접근법은 평균장 진동에 대한 가정 없이 주요-소수 LQG MFG 시스템에서 주요 및 소수 에이전트의 최적 반응 전략을 성공적으로 회복한다.
• 유한 시간 영역 시스템의 경우, 비용 상태 및 오프셋 항에 대한 리카티 방정식과 선형 시스템을 사용하여 전략이 유도되며, 식 (133)을 만족한다.
• 무한 시간 영역의 경우, 해는 대수적 리카티 방정식 (139)과 (141)으로 특성화되며, 시간 불변 리카티 행렬과 일정한 오프셋 벡터를 포함한다.
• 감지 가능성, 점근적 안정성, 안정가능성 조건을 포함하는 가정 11–13 하에서 해의 존재성과 유일성이 보장된다.
• 모집단 크기 $N \to \infty$일 때 유도된 전략은 $\epsilon$-내쉬 균형을 형성하며, 근사 오차는 극한에서 사라진다.
• 평균장 역학에 대한 제약 조건이 없기 때문에 이 프레임워크는 복잡하고 비표준적인 시스템에 일반적으로 적용 가능하다.