[논문 리뷰] Convergence of Deep Fictitious Play for Stochastic Differential Games

Jiequn Han, Ruimeng Hu외 1명|arXiv (Cornell University)|2020. 08. 12.

Stochastic processes and financial applications참고 문헌 64인용 수 13

한 줄 요약

이 논문은 대규모 인구, 비대칭 스토크라스틱 미분 게임을 해결하기 위한 딥 허구적 플레이(DFP) 알고리즘의 이론적 수렴성을 확립한다. 깊이 있는 역방향 SDE를 통해 게임을 순차적 하위 문제로 분해함으로써, 이 방법은 미약한 조건 하에 마코프형 내쉬 균형으로 수렴하며, 기술적 가정을 초월한 경험적 검증을 통해 ϵ-내쉬 균형을 형성한다.

ABSTRACT

Stochastic differential games have been used extensively to model agents' competitions in Finance, for instance, in P2P lending platforms from the Fintech industry, the banking system for systemic risk, and insurance markets. The recently proposed machine learning algorithm, deep fictitious play, provides a novel efficient tool for finding Markovian Nash equilibrium of large $N$-player asymmetric stochastic differential games [J. Han and R. Hu, Mathematical and Scientific Machine Learning Conference, pages 221-245, PMLR, 2020]. By incorporating the idea of fictitious play, the algorithm decouples the game into $N$ sub-optimization problems, and identifies each player's optimal strategy with the deep backward stochastic differential equation (BSDE) method parallelly and repeatedly. In this paper, we prove the convergence of deep fictitious play (DFP) to the true Nash equilibrium. We can also show that the strategy based on DFP forms an $\eps$-Nash equilibrium. We generalize the algorithm by proposing a new approach to decouple the games, and present numerical results of large population games showing the empirical convergence of the algorithm beyond the technical assumptions in the theorems.

연구 동기 및 목표

• 대규모-N, 비대칭 스토크라스틱 미분 게임을 해결하는 데 있어 딥 허구적 플레이(DFP) 알고리즘의 이론적 기초를 확립하기 위해.
• 하위 문제를 정확히 해결할 경우 DFP가 진정한 마코프형 내쉬 균형으로 수렴함을 증명하기 위해.
• 딥 BSDE 근사에서 발생하는 수치 오차가 네트워크 용량이 증가함에 따라 사라짐을 보여주기 위해.
• 충분한 반복과 세밀한 메시징 이후 DFP에서 유도된 보간 전략이 ϵ-내쉬 균형을 형성함을 보여주기 위해.
• 게임을 분해하는 데 있어 정책 업데이트 접근법을 도입함으로써 DFP를 일반화하고, 경험적 수렴을 향상시키기 위해.

제안 방법

• 허구적 플레이 또는 정책 업데이트를 사용하여 N명의 플레이어 스토크라스틱 미분 게임을 N개의 분리된 하위 문제로 분해한다.
• 각 하위 문제를 딥 BSDE 방법을 사용하여 해결하며, 이는 깊이 있는 신경망을 통해 역방향 스토크라스틱 미분 방정식의 해를 근사한다.
• BSDE를 이산화하기 위해 오일러 스킴을 사용하고, 신경망 파라미터를 학습하기 위해 확률적 경량 하강법(Adam 최적화기)을 사용한다.
• 배치 정규화와 ReLU 유사 활성화 함수(tanh)를 사용하며, 너비 40인 3개의 히든 레이어를 가진 완전 연결 네트워크를 사용한다.
• 상태 과정이 도메인 전반에 걸쳐 대표성을 유지할 수 있도록 고정점 절차를 사용하여 초기 상태 분포를 설정한다.
• 기준값 샘플 경로를 사용하여 제어 근사 정확도를 평가하기 위해 상대 제곱 오차(RSE) 지표를 사용한다.

실험 결과

연구 질문

• RQ1 하위 문제를 정확히 해결할 경우 딥 허구적 플레이 알고리즘이 진정한 마코프형 내쉬 균형으로 수렴하는가?
• RQ2 딥 BSDE를 통해 각 하위 문제를 해결할 때의 수치 오차가 네트워크 용량이 증가함에 따라 0으로 수렴하는가?
• RQ3 충분한 반복과 세밀한 시간 메시징 이후 DFP에서 생성된 보간 전략이 ϵ-내쉬 균형을 형성하는가?
• RQ4 기술적 가정(예: 계수의 리프시츠 연속성 등)이 위반된 경우에도 정책 업데이트 변형된 DFP가 경험적으로 수렴할 수 있는가?
• RQ5 고차원 스토크라스틱 미분 게임에서 딥 BSDE 방법은 가치 함수와 그 기울기를 얼마나 잘 근사하는가?

주요 결과

• 하위 문제를 정확히 해결하고 반복적으로 적용할 경우 DFP 알고리즘이 진정한 마코프형 내쉬 균형으로 수렴한다.
• 딥 신경망의 일반적인 근사 능력을 활용함으로써 딥 BSDE 근사에서 발생하는 수치 오차가 사라진다.
• 충분히 많은 단계와 충분히 세밀한 시간 메시징 이후 DFP 기반의 보간 전략이 ϵ-내쉬 균형을 형성한다.
• 제안된 정책 업데이트 변형은 기술적 가정(예: 계수의 리프시츠 연속성 등)이 위반된 경우에도 경험적 수렴을 가능하게 한다.
• 비리프시츠 및 비균일 유계 계수를 가진 수치 예제에서, 딥 BSDE 방법은 제어 근사에 대해 상대 제곱 오차(RSE) 0.27%를 달성했다.
• 시각적 결과는 샘플 경로 전반에 걸쳐 최적의 상태 및 제어 과정과 그 딥 러닝 근사 간의 강력한 일치를 보여준다.