[논문 리뷰] Alternating the Population and Control Neural Networks to Solve High-Dimensional Stochastic Mean-Field Games

A. T. Lin, Samy Wu Fung외 3명|arXiv (Cornell University)|2020. 02. 24.

Stochastic processes and financial applications참고 문헌 62인용 수 70

한 줄 요약

APAC-Net는 높은 차원의 스토하스틱 평균장 게임(MFGs)을 해결하기 위해 문제를 볼록-볼록 최적화의 사다리꼴 문제로 재구성하는 새로운 딥러닝 프레임워크이다. 값 함수와 밀도 함수는 신경망을 통해 매개변수화되며, 생성적 적대적 네트워크(GANs)에 영감을 받아 인구 네트워크(discriminator-유사)와 제어 네트워크(generator-유사)를 번갈아가며 훈련시켜, 기존에 차원의 저주로 인해 해결이 어려웠던 100차원 이하의 MFGs에 대해 확장 가능한 해법을 제공한다.

ABSTRACT

We present APAC-Net, an alternating population and agent control neural network for solving stochastic mean field games (MFGs). Our algorithm is geared toward high-dimensional instances of MFGs that are beyond reach with existing solution methods. We achieve this in two steps. First, we take advantage of the underlying variational primal-dual structure that MFGs exhibit and phrase it as a convex-concave saddle point problem. Second, we parameterize the value and density functions by two neural networks, respectively. By phrasing the problem in this manner, solving the MFG can be interpreted as a special case of training a generative adversarial network (GAN). We show the potential of our method on up to 100-dimensional MFG problems.

연구 동기 및 목표

• 기존 그리드 기반 해법에서 차원의 저주로 인해 계산이 비현실적이 되는 고차원 스토하스틱 평균장 게임(MFGs)의 계산 비가역성 문제를 해결한다.
• 기존 수치적 방법이 실패하는 고차원 영역(최대 100D)에서 스토하스틱 MFGs를 해결하기 위한 확장 가능한 딥러닝 기반 방법을 개발한다.
• 잠재적 MFGs의 변분 원-이중 구조를 활용하여 문제를 볼록-볼록 사다리꼴 최적화 문제로 재구성한다.
• MFGs와 생성적 적대적 네트워크(GANs) 사이의 공식적 연결 고리를 수립하여, GAN 스타일의 훈련 동역학을 활용할 수 있도록 한다.
• 격자 기반 해법 없이, 값 함수와 에이전트 밀도를 모두 신경망을 통해 매개변수화하는 미분 가능하고 격자 없는 프레임워크를 제공하여 공간 이산화를 피한다.

제안 방법

• 벤아무-브리에르 프레임워크에서 유도된 변분 원-이중 공식화를 활용하여 스토하스틱 MFG 시스템을 볼록-볼록 사다리꼴 최적화 문제로 재구성한다.
• 값 함수 ϕ와 에이전트 밀도 ρ를 각각 두 개의 딥러닝 네트워크인 제어 네트워크(generator)와 인구 네트워크(discriminator)로 매개변수화한다.
• 워샤르슈타인 GAN과 유사한 최소-최대 최적화 문제로 MFG의 해를 프레임워크화하여, 디스크리미네이터가 에이전트 정책과 인구 분포 간의 일관성을 평가한다.
• 교대 최적화를 사용: 제어 네트워크는 HJB 잔차를 최소화하도록 훈련하고, 인구 네트워크는 포커-플랑크 역학과의 일관성을 최대화하도록 훈련한다.
• WGAN-GP와 유사하게, 인구 네트워크(discriminator)에 1-립시츠 제약 조건을 기울기 보상으로 강제하여 훈련을 안정화하고 모드 붕괴를 방지한다.
• 스토하스틱 경사하강법과 적응형 최적화 기법을 사용하여 네트워크를 엔드 투 엔드로 훈련시키며, 사다리꼴 최적화 공식화에서 유도된 손실 함수를 통해 HJB 잔차를 최소화하고 포커-플랑크 방정식을 강제한다.

실험 결과

연구 질문

• RQ1 GAN 기반의 딥러닝 프레임워크가 기존 그리드 기반 방법으로는 도달할 수 없는 고차원 스토하스틱 평균장 게임을 효과적으로 해결할 수 있는가?
• RQ2 MFGs의 변분 원-이중 공식화가 신경망으로 매개변수화되었을 때 안정적이고 확장 가능한 훈련 절차를 가능하게 하는가?
• RQ3 APAC-Net 프레임워크는 2D, 50D, 100D와 같은 다양한 차원과 ν > 0 수준의 확률적 요건에서 얼마나 잘 일반화되는가?
• RQ4 복잡한 상호작용, 예를 들어 혼잡도와 대칭 장애물이 고차원 공간에 존재할 경우에도 이 방법이 처리 가능한가?
• RQ5 GAN 유사 훈련 동역학이 MFGs에서 모드 붕괴를 방지하고 정확한 밀도 및 정책 추정을 보장하는 데 얼마나 효과적인가?

주요 결과

• APAC-Net는 100차원에 이르는 스토하스틱 MFGs를 성공적으로 해결하여, 기존 그리드 기반 방법이 차원의 저주로 인해 실패하는 영역에서도 확장 가능성을 입증한다.
• HJB 잔차 손실이 매우 낮게 유지되며, 2D에서는 100 이하, 50D에서는 500 이하, 100D에서는 800 이하로 나타나, 결합된 HJB-FP 시스템을 고정밀도로 해결하고 있음을 시사한다.
• 통로가 있는 혼잡 문제에서 네트워크는 장애물 주변에서 에이전트 밀도를 분할하는 것을 학습하며, 2D, 50D, 100D에서 일관된 결과를 보여 일반화 능력을 입증한다.
• 확률성 증가(ν = 0.4)로 인해 동역학이 노이즈에 의해 지배되지만, 네트워크는 여전히 안정적인 훈련과 의미 있는 정책 학습을 유지하여 강건성을 보여준다.
• 정확한 해가 알려진 이차 해밀토니안과 로그 상호작용 항(식 A.11)에 대해 APAC-Net이 정확하게 재구성함으로써, 기존 기준 테스트에서 메서드의 정확성을 확인한다.
• 인구 네트워크(discriminator)에 기울기 보상 기법을 사용함으로써 모드 붕괴가 효과적으로 방지되고 훈련이 안정화되며, 다양한 차원에서 일관된 밀도 분할과 낮은 잔차 손실이 관찰되어 검증된다.