[논문 리뷰] Deep Learning for Mean Field Games and Mean Field Control with Applications to Finance

René Carmona, Mathieu Laurière|arXiv (Cornell University)|2021. 07. 09.

Complex Systems and Time Series Analysis인용 수 8

한 줄 요약

이 논문은 고차원 금융 응용 분야에서 평균장 제어(MFC) 및 평균장 게임(MFG) 문제를 해결하기 위해 딥 러닝 기반의 세 가지 방법—직접 최적화, 딥 BSDE, 딥 갈레르킨 방법(DGM)—을 제안한다. 최적 실행, 체계적 리스크, 거래 과잉 등의 모델에서 그 효과를 입증하며, 신경망이 비국소 상호작용을 가진 복잡한 PDE 및 FBSDE의 해를 정확하게 근사할 수 있음을 보여준다.

ABSTRACT

Financial markets and more generally macro-economic models involve a large number of individuals interacting through variables such as prices resulting from the aggregate behavior of all the agents. Mean field games have been introduced to study Nash equilibria for such problems in the limit when the number of players is infinite. The theory has been extensively developed in the past decade, using both analytical and probabilistic tools, and a wide range of applications have been discovered, from economics to crowd motion. More recently the interaction with machine learning has attracted a growing interest. This aspect is particularly relevant to solve very large games with complex structures, in high dimension or with common sources of randomness. In this chapter, we review the literature on the interplay between mean field games and deep learning, with a focus on three families of methods. A special emphasis is given to financial applications.

연구 동기 및 목표

• 금융공학 및 거시경제학에서 발생하는 차원의 극복 문제를 해결하기 위해.
• 비국소 상호작용과 공통 노이즈를 가진 고차원 MFC 및 MFG 시스템을 해결하기 위한 확장 가능한 수치적 방법을 딥 러닝 기반으로 개발하기 위해.
• 최적 실행 및 체계적 리스크와 같은 간단하지만 현실적인 재무 모델에서 딥 러닝 기법의 실용적 타당성을 입증하기 위해.
• 신경망을 활용해 가치 함수, 제어 및 분포를 근사함으로써 이론적 평균장 프레임워크와 실용적 계산 도구를 연결하기 위해.
• 직접 비용 최소화, 확률적 슈팅, PDE 잔차 최소화의 세 가지 서로 다른 딥 러닝 패러다임을 통해 MFG/MFC 시스템을 통합적으로 해결하는 수치적 프레임워크를 제공하기 위해.

제안 방법

• 제어 정책을 신경망으로 매개변수화하여 비용 기능을 최소화하는 직접 딥 러닝 접근법을 사용하며, 확률적 경사 하강법으로 훈련한다.
• 맥클린-블라소프 전방-후행 확률미분방정식(MKV FBSDEs)을 해결하기 위해 딥 BSDE 방법을 적용하며, 초기 후행 변수와 Z-성분을 신경망으로 근사한다.
• MFG에서 발생하는 전방 콜모고로프 방정식과 하미르톤-조지-벨리 방정식의 결합된 시스템을 해결하기 위해 딥 갈레르킨 방법(DGM)을 적용하며, 공간-시간 격자에서 잔차 오차를 최소화한다.
• 초기 및 종료 조건을 강제하기 위해 페널티 기법을 구현하며, 비국소 항(예: 평균장 상호작용 $\bar{\mu}_t$)의 추정을 위해 몬테카를로 샘플링을 사용한다.
• 분포 함수 $m(t, \cdot)$의 비음성 확보를 위해 밀도 네트워크의 최종 레이어에 지수 활성화를 적용한다.
• 시간에 따라 변화하는 PDE 시스템과 비마르코프적 구조(예: 재고 동역학의 제곱변동항 포함)를 다룰 수 있도록 방법을 적응시켰다.

실험 결과

연구 질문

• RQ1 기존 수치적 방법으로는 해결이 불가능한 고차원 평균장 제어 및 게임 문제를 딥 러닝이 효과적으로 해결할 수 있는가?
• RQ2 비국소 상호작용을 가진 MFC 및 MFG 시스템을 해결할 때, 직접 정책 최적화, 딥 BSDE, DGM 등의 서로 다른 딥 러닝 아키텍처는 어떻게 비교되는가?
• RQ3 신경망은 최적 실행 및 체계적 리스크 모델의 가치 함수, 최적 제어, 분포 역학을 어느 정도 정확하게 근사할 수 있는가?
• RQ4 공통 노이즈, 지연, 파산 시점 상호작용을 포함한 복잡한 재무 모델을 유지하면서도 수치적 안정성과 정확성을 확보할 수 있는가?
• RQ5 가격 영향 모델과 과잉 거래 모델과 같은 단순하지만 현실적인 재무 모델에서 이들 방법의 경험적 성능 특성은 어떠한가?

주요 결과

• DGM 방법은 과잉 거래 모델의 MFG 시스템을 성공적으로 해결하여 시간이 지남에 따라 재고 분포 $m(t, \cdot)$가 0 근처에 집중하는 것을 정확히 포착하였다.
• 학습된 최적 제어 $\alpha^*$의 신경망 근사치는 반해석적 해와 매우 유사했으며, 기대한 바와 같이 재고에 대한 선형 의존성을 보였다.
• 밀도 네트워크의 최종 레이어에 지수 활성화를 사용함으로써 학습된 분포가 비음성을 유지함을 보장하여 확률 밀도 추정에서 중요한 제약 조건을 충족시켰다.
• 페널티를 적용한 초기 및 종료 조건을 통해 안정적인 수렴을 달성하였으며, 몬테카를로 샘플링이 비국소 평균장 상호작용 $\bar{\mu}_t$를 효과적으로 추정하였다.
• 수치 결과는 이론적 기대를 확인하였으며, 분포가 0 근처로 집중하고 최적 제어는 재고에 대해 선형임을 보여주어 모델의 일관성을 검증하였다.
• 재고 동역학의 제곱변동항이 포함된 가격 영향 모델에서도 이 프레임워크는 강건성을 입증하였으며, 신경망이 주요 아키텍처 변경 없이도 복잡한 동역학을 처리할 수 있음을 보여주었다.