[논문 리뷰] Deep Fictitious Play for Stochastic Differential Games

Ruimeng Hu|arXiv (Cornell University)|2019. 03. 22.

Model Reduction and Neural Networks참고 문헌 53인용 수 9

한 줄 요약

이 논문은 비대칭 N인자 확률적 미분 게임에서 개방 루프 내쉬 균형을 계산하기 위한 확장 가능하고 병렬적인 딥 러닝 알고리즘인 딥 허위 플레이(Deep Fictitious Play)를 소개한다. 각 플레이어의 전략을 다른 플레이어의 과거 행동에 대해 고정된 조건에서 별도의 딥 신경망을 사용해 반복적으로 최적화함으로써, GPU 가속화된 모델 기반 없는 계산이 가능해지며, 적절한 조건 하에서 내쉬 균형으로 수렴한다.

ABSTRACT

In this paper, we apply the idea of fictitious play to design deep neural networks (DNNs), and develop deep learning theory and algorithms for computing the Nash equilibrium of asymmetric $N$-player non-zero-sum stochastic differential games, for which we refer as \emph{deep fictitious play}, a multi-stage learning process. Specifically at each stage, we propose the strategy of letting individual player optimize her own payoff subject to the other players' previous actions, equivalent to solve $N$ decoupled stochastic control optimization problems, which are approximated by DNNs. Therefore, the fictitious play strategy leads to a structure consisting of $N$ DNNs, which only communicate at the end of each stage. The resulted deep learning algorithm based on fictitious play is scalable, parallel and model-free, {\it i.e.}, using GPU parallelization, it can be applied to any $N$-player stochastic differential game with different symmetries and heterogeneities ({\it e.g.}, existence of major players). We illustrate the performance of the deep learning algorithm by comparing to the closed-form solution of the linear quadratic game. Moreover, we prove the convergence of fictitious play under appropriate assumptions, and verify that the convergent limit forms an open-loop Nash equilibrium. We also discuss the extensions to other strategies designed upon fictitious play and closed-loop Nash equilibrium in the end.

연구 동기 및 목표

• N인자 확률적 미분 게임에서 내쉬 균형을 계산하기 위한 확장 가능하고 병렬적이며 모델 기반 없는 딥 러닝 알고리즘을 개발하는 것.
• 허위 플레이 개념을 딥 뉴럴 네트워크를 활용해 확률적 미분 게임에 확장하여, 게임의 대칭성이나 구조에 대한 사전 지식 없이도 확장 가능한 계산이 가능하도록 하는 것.
• 해밀토니안의 충분한 정규성과 볼록성 가정 하에 제안된 딥 허위 플레이 알고리즘이 개방 루프 내쉬 균형으로 수렴함을 증명하는 것.
• 선형 제곱 게임에서의 해석적 해와의 수치적 비교를 통해 방법의 유효성을 입증하는 것.
• 미래 연구를 위한 기반을 마련하기 위해, 향후 닫힘 루프 및 피드백 내쉬 균형으로의 확장 가능성을 고려하는 것.

제안 방법

• 알고리즘의 각 단계에서, 각 플레이어의 전략은 다른 모든 플레이어의 과거 행동을 조건으로 하여 별도의 딥 신경망을 사용해 독립적으로 최적화된다.
• 이 방법은 N개의 분리된 확률적 제어 문제를 단계별로 병렬로 해결하며, 각 문제는 별도의 딥 신경망으로 근사되며, 통신은 단지 단계 간에만 이루어진다.
• 알고리즘은 최적 제어 정책을 직접 딥 러닝을 통해 근사함으로써, 가치 함수의 도함수나 PDE 해법기에 의존하지 않는다.
• 이 방법은 모델 기반 없이 확장 가능하며, 게임의 이질성이나 주요 플레이어의 존재 여부에 관계없이 플레이어 간 GPU 병렬 처리가 가능하다.
• 해밀토니안의 충분한 정규성과 볼록성 가정 하에 이론적으로 수렴이 보장되며, 극한에서 내쉬 균형에 도달한다.
• 다단계 반복적 프로세스를 통해 구현되며, 각 플레이어는 상대방의 과거 전략 기반으로 자신의 정책을 업데이트함으로써 반복 간 피드백 루프를 형성한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크를 활용해 허위 플레이를 확률적 미분 게임에 적응시켜 내쉬 균형의 확장 가능하고 병렬적인 계산을 달성할 수 있는가?
• RQ2 딥 허위 플레이 알고리즘이 어떤 조건에서 개방 루프 내쉬 균형으로 수렴하는가?
• RQ3 기본 사례인 선형 제곱 게임에서 딥 허위 플레이 알고리즘의 성능은 알려진 해석적 해와 어떻게 비교되는가?
• RQ4 다단계 학습 프로세스에서 플레이어별 별도의 DNN를 사용하는 데 가지는 구조적 및 계산적 이점은 무엇인가?
• RQ5 제안된 방법은 확률적 미분 게임에서 닫힘 루프 또는 피드백 내쉬 균형을 계산하는 데로 확장될 수 있는가?

주요 결과

• 해밀토니안과 계수의 적절한 정규성 및 볼록성 가정 하에서 딥 허위 플레이 알고리즘이 개방 루프 내쉬 균형으로 수렴한다.
• 각 플레이어의 전략 최적화를 단계 간에 분리함으로써 높은 확장성과 병렬성을 달성하여 효율적인 GPU 기반 구현이 가능하다.
• 선형 제곱 게임 벤치마크에서 알고리즘의 수치적 결과는 알려진 해석적 해와 매우 유사하게 일치하여 정확도가 검증된다.
• 알고리즘은 모델 기반이며, 주요 플레이어가 존재하는 경우를 포함해 일반적인 N인자 확률적 미분 게임에 적용 가능하다.
• 가치 함수 도함수의 계산이 필요 없이 딥 러닝을 통해 직접 제어 정책을 학습함으로써 PDE 기반 방법의 차원의 극복 문제를 피한다.
• 이 프레임워크는 향후 닫힘 루프 및 피드백 내쉬 균형으로의 확장을 위한 기초를 제공하지만, 피드백 전략을 직접 구현하기 위해서는 네트워크 간 결합이 필요하며 이는 비단순한 과제이다.