[논문 리뷰] Signatured Deep Fictitious Play for Mean Field Games with Common Noise

Ming Min, Ruimeng Hu|arXiv (Cornell University)|2021. 06. 06.

Sports Analytics and Performance참고 문헌 50인용 수 4

한 줄 요약

이 논문은 공통 노이즈가 있는 평균장 게임(MFGs)을 해결하기 위해 근사 경로 이론과 허구적 플레이를 활용하는 싱글루프 딥러닝 알고리즘인 서명된 딥 허구적 플레이(Sig-DFP)를 제안한다. 이는 기존의 계산 비용이 매우 높은 이중 루프 시뮬레이션을 제거하여, 계산적으로 비현실적인 시뮬레이션의 필요성을 없애며, 뛰어난 효율성과 정확도를 달성한다. 이는 공통 노이즈가 있는 확장된 MFGs에 대한 첫 번째 딥러닝 솔루션을 가능하게 하며, 기존 방법에 비해 메모리 소비와 런타임 요구 사항을 크게 줄인다.

ABSTRACT

Existing deep learning methods for solving mean-field games (MFGs) with common noise fix the sampling common noise paths and then solve the corresponding MFGs. This leads to a nested-loop structure with millions of simulations of common noise paths in order to produce accurate solutions, which results in prohibitive computational cost and limits the applications to a large extent. In this paper, based on the rough path theory, we propose a novel single-loop algorithm, named signatured deep fictitious play, by which we can work with the unfixed common noise setup to avoid the nested-loop structure and reduce the computational complexity significantly. The proposed algorithm can accurately capture the effect of common uncertainty changes on mean-field equilibria without further training of neural networks, as previously needed in the existing machine learning algorithms. The efficiency is supported by three applications, including linear-quadratic MFGs, mean-field portfolio game, and mean-field game of optimal consumption and investment. Overall, we provide a new point of view from the rough path theory to solve MFGs with common noise with significantly improved efficiency and an extensive range of applications. In addition, we report the first deep learning work to deal with extended MFGs (a mean-field interaction via both the states and controls) with common noise.

연구 동기 및 목표

• 공통 노이즈가 있는 평균장 게임(MFGs)을 해결하기 위해 기존 딥러닝 방법들이 수백만 개의 공통 노이즈 경로를 이중 루프로 시뮬레이션하는 데 의존하는 높은 계산 비용 문제를 해결하기 위해.
• 근사 경로 이론에서 유래한 서명 기반 표현을 통해 고정되지 않은 공통 노이즈를 처리함으로써 이중 루프 구조를 제거하기 위해.
• 재학습 없이도 공통 불확실성의 변화가 평균장 균형에 미치는 영향을 포괄할 수 있는 확장 가능하고 효율적인 알고리즘 개발을 위해.
• 상태와 제어 모두에 의존하는 상호작용을 포함하는 확장된 MFGs에 대해, 공통 노이즈 하에서 딥러닝 응용을 확장하기 위해.
• 선형-제곱형 MFG, 포트폴리오 게임, 최적 소비-투자 문제 등 다양한 응용 분야에서 방법의 효과성을 입증하기 위해.

제안 방법

• 딥 허구적 플레이와 근사 경로 이론의 서명을 통합하여 공통 노이즈의 경로에 따른 의존성을 표현함으로써 싱글루프 학습 프로세스를 가능하게 한다.
• 최적 제어 정책을 딥 네ural 웹으로 파arameter화하고, 인구 수준의 반응에 기반해 점진적으로 전략을 개선하는 허구적 플레이를 통해 전역 최적화를 수행한다.
• 공통 노이즈 경로의 서명을 입력 특징으로 사용하며, 계산 가능성을 확보하면서도 경로 정보를 유지하기 위해 깊이 M에서 잘라낸다.
• 일반적으로 해석이 불가능한 복잡한 방정식, 예를 들어 마스터 방정식, 스토하스틱 Fokker-Planck/해밀토니안-자코비-벨만 시스템, 또는 McKean-Vlasov FBSDE를 해결하지 않도록 한다.
• 신경망의 보편 근사 성질을 바탕으로, 서명 깊이 M과 허구적 플레이 단계 n이 무한으로 갈 때 수렴성을 증명한다.
• 이 알고리즘은 공통 노이즈 하에서 이질적인 에이전트와 상태-제어 상호작용을 포함하는 확장된 MFGs를 지원하며, 이는 딥러닝을 통한 MFG 연구에서의 새로운 기여이다.

실험 결과

연구 질문

• RQ1 기존의 이중 루프 접근 방식에 비해 더 효율적으로 공통 노이즈가 있는 MFGs를 해결할 수 있는 싱글루프 딥러닝 알고리즘을 설계할 수 있는가?
• RQ2 근사 경로 서명을 통해 고정된 노이즈 경로 없이도 공통 노이즈가 평균장 균형에 미치는 영향을 효과적으로 코딩할 수 있는가?
• RQ3 허구적 플레이와 서명 기반 표현을 통합함으로써 재학습 없이도 공통 노이즈 하에서 균형 전략을 정확하게 포착할 수 있는가?
• RQ4 제안된 방법은 공통 노이즈 하에서 상태와 제어의 공동 상호작용을 포함하는 확장된 MFGs를 처리할 수 있는가? 이는 이전에 딥러닝에서 다루지 않은 설정이다.
• RQ5 실제로 서명 깊이 M과 허구적 플레이 단계 수 n 사이의 계산 비용과 수렴성 간의 트레이드오프는 어떠한가?

주요 결과

• 이중 알고리즘에 비해 메모리 사용량과 런타임을 크게 줄였으며, 개별 노이즈 경로와 공통 노이즈 경로가 각각 (2^15, 2^15)까지 학습이 가능해졌고, 이는 이중 방법이 (2^8, 2^8)를 초과하면 메모리 제약으로 인해 실패하는 데 비해 가능하다.
• INP와 CNP가 각각 (2^15, 2^15)일 때, Sig-DFP는 제어에 대해 11%, 비용에 대해 6%의 상대 L² 오차를 기록했으며, 이는 이중 알고리즘이 각각 79.4%와 16.2%의 오차를 기록한 것과 대비된다.
• Sig-DFP의 런타임은 서명 깊이 M과 차원 n₀에 따라 다소 증가하며, (n₀=5, M=4)일 때 2.6시간의 런타임을 기록하여 고차원으로의 확장성도 입증되었다.
• 일차원 문제에서는 서명 깊이 M=2가 최적의 정확도를 제공하며, 제어 및 상태 과정의 로그가 약간의 선형 또는 이차 함수에 가까워지기 때문에 더 높은 깊이가 불필요하다.
• 신경망의 보편 근사 성질을 바탕으로, M과 n이 무한으로 갈 때 Sig-DFP는 평균장 균형에 수렴하며, 세 가지 벤치마크 문제에서 강력한 경험적 지원을 확보했다.
• 이 연구는 공통 노이즈가 있는 확장된 MFGs에 대한 딥러닝 솔루션을 처음으로 보고하며, 평균장 상호작용이 상태와 제어 모두에 의존하는 경우를 다루어 딥러닝이 MFG에 적용 가능한 범위를 넓혔다.