[논문 리뷰] A Machine Learning Framework for Solving High-Dimensional Mean Field Game and Mean Field Control Problems

Lars Ruthotto, Stanley Osher외 3명|arXiv (Cornell University)|2019. 12. 04.

Stochastic processes and financial applications참고 문헌 95인용 수 200

한 줄 요약

이 논문은 잠재 함수의 신경망 파arameterization과 라그랑주 역학을 조합하여 고차원 평균장 게임(MFG) 및 평균장 제어(MFC) 문제를 해결하는 메시-free 기계학습 프레임워크를 제안한다. 특성 곡선을 따라 하미르토니안-자비-벨리만(HJB) 방정식을 맞춤형 신경망을 통해 강제함으로써, 공간 이산화를 피하고 최대 100차원에서 정확한 해를 달성하며, 전통적인 격자 기반 방법에 비해 확장성과 정확성을 입증한다.

ABSTRACT

Mean field games (MFG) and mean field control (MFC) are critical classes of multi-agent models for efficient analysis of massive populations of interacting agents. Their areas of application span topics in economics, finance, game theory, industrial engineering, crowd motion, and more. In this paper, we provide a flexible machine learning framework for the numerical solution of potential MFG and MFC models. State-of-the-art numerical methods for solving such problems utilize spatial discretization that leads to a curse-of-dimensionality. We approximately solve high-dimensional problems by combining Lagrangian and Eulerian viewpoints and leveraging recent advances from machine learning. More precisely, we work with a Lagrangian formulation of the problem and enforce the underlying Hamilton-Jacobi-Bellman (HJB) equation that is derived from the Eulerian formulation. Finally, a tailored neural network parameterization of the MFG/MFC solution helps us avoid any spatial discretization. Our numerical results include the approximate solution of 100-dimensional instances of optimal transport and crowd motion problems on a standard work station and a validation using an Eulerian solver in two dimensions. These results open the door to much-anticipated applications of MFG and MFC models that were beyond reach with existing numerical methods.

연구 동기 및 목표

• 기존 격자 기반 수치 방법의 적용 범위를 제한하는 고차원 평균장 게임 및 제어 문제의 차원의 극복 문제를 해결한다.
• 고차원 잠재 MFG 및 MFC 문제를 해결하기 위한 확장 가능하고 메시 없는 수치 프레임워크를 개발한다.
• 최적 운반 및 군중 이동과 같은 복잡한 실세계 응용 문제를 고차원 공간에서 해결할 수 있도록 한다.
• MFG/MFC 문제를 미분 가능 최적화 과제로 변환하는 유연한 기계학습 공식을 제공한다.

제안 방법

• 잠재 함수에서 유도된 특성 곡선을 통해 에이전트 궤적을 추적함으로써 라그랑주 프레임워크에서 MFG/MFC 문제를 수립한다.
• 공간과 시간에 대한 잠재 함수를 신경망으로 파arameterization하여 공간 격자 없이 고차원 표현을 가능하게 한다.
• 신경망 학습 중 HJB 방정식 위반에 대한 페널티를 적용하여 특성 곡선을 따라 HJB 방정식을 강제로 이행한다.
• 잠재 함수의 라플라스 연산자를 사용하여 변환의 야코비안 행렬식을 계산함으로써, 오일러 기반 이산화 없이 밀도의 진화를 가능하게 한다.
• 특성 곡선을 따라 초기 밀도의 푸시포워드를 추적함으로써 연속 방정식을 암묵적으로 통합한다.
• 안정성과 정확성을 보장하기 위해 HJB 위반, 종단 조건 불일치, 정규화를 포함한 손실 함수를 사용하여 신경망을 학습시킨다.

실험 결과

연구 질문

• RQ1 신경망 기반 프레임워크는 공간 격자에 의존하지 않고 고차원 평균장 게임 및 제어 문제를 해결할 수 있는가?
• RQ2 낮은 차원에서 전통적인 오일러 기반 해법과 비교해 본다면, 제안된 라그랑주-기계학습 프레임워크는 정확도와 확장성 측면에서 어떻게 비교되는가?
• RQ3 이 방법은 고차원 MFG 문제에서 비선형 특성과 복잡한 역학을 어느 정도 다룰 수 있는가?
• RQ4 학습 과정에서 HJB 위반에 대한 페널티를 적용하면 수렴성과 해의 정확도는 어떻게 향상되는가?
• RQ5 이 프레임워크는 100차원 공간에서 최적 운반 및 군중 이동과 같은 실세계 문제에 적용될 수 있는가?

주요 결과

• 표준 워크스테이션에서 100차원 동적 최적 운반 문제의 사례를 성공적으로 해결하여, 격자 기반 방법을 초월한 확장성을 입증한다.
• 두 차원 문제에서는 증명 가능하게 수렴하는 오일러 기반 해법으로부터 도출된 결과와 밀도 있게 일치함으로써 제안된 방법의 정확성을 검증한다.
• 군중 이동 문제에서 차원 d ∈ {2, 10, 50, 100} 전반에 걸쳐 유사한 목적 함수 값을 달성하여 고차원에서의 일관된 성능을 보여준다.
• 학습 과정에서 HJB 위반에 대한 페널티를 적용함으로써 더 정확한 해를 더 적은 계산 자원으로 달성할 수 있었으며, 손실 공식의 효과성을 입증한다.
• 군중 이동 문제에서 학습된 궤적은 고비용 영역을 피하는 곡선 경로를 보이며, 복잡한 혼잡 인식 역학을 모델이 잘 포착하고 있음을 확인한다.
• 상대적으로 단순한 신경망을 사용하여 비선형 특성을 가진 MFG 문제의 해를 구할 수 있었으며, 이는 프레임워크의 강건성과 실용적 적용 가능성에 기여한다.