[논문 리뷰] APAC-Net: Alternating the Population and Agent Control via Two Neural Networks to Solve High-Dimensional Stochastic Mean Field Games

A. T. Lin, Samy Wu Fung외 3명|arXiv (Cornell University)|2020. 01. 01.

Model Reduction and Neural Networks참고 문헌 19인용 수 26

한 줄 요약

APAC-Net는 변동성 있는 고차원 평균장 게임(MFGs)에서 인구와 에이전트 제어를 번갈아 최적화하는 데 새로운 신경망 프레임워크를 도입한다. 이는 문제를 원시-이중 변분 구조를 통해 볼록-볼록형 사다리꼴 최적화 문제로 재구성함으로써 이루어지며, 가치 함수와 밀도 함수를 각각 별도의 신경망으로 파arameter화함으로써 MFG 해를 GAN 유사 학습 과정으로 재구성한다. 이로 인해 기존 방법으로는 해결이 불가능했던 100차원까지의 MFG 문제를 성공적으로 해결할 수 있었다.

ABSTRACT

We present APAC-Net, an alternating population and agent control neural network for solving stochastic mean field games (MFGs). Our algorithm is geared toward high-dimensional instances of MFGs that are beyond reach with existing solution methods. We achieve this in two steps. First, we take advantage of the underlying variational primal-dual structure that MFGs exhibit and phrase it as a convex-concave saddle point problem. Second, we parameterize the value and density functions by two neural networks, respectively. By phrasing the problem in this manner, solving the MFG can be interpreted as a special case of training a generative adversarial network (GAN). We show the potential of our method on up to 100-dimensional MFG problems.

연구 동기 및 목표

• 기존 수치적 방법으로는 계산상 비가역적인 고차원 스토하스틱 평균장 게임(MFGs)을 해결하는 데 도전한다.
• MFG에 내재된 변분 원시-이중 구조를 활용하여 문제를 볼록-볼록형 사다리꼴 최적화 문제로 재구성한다.
• 값 함수와 인구 밀도를 각각 별도의 신경망으로 파arameter화하는 확장 가능한 딥러닝 프레임워크를 개발한다.
• 생성적 적대적 네트워크(GANs)와의 유사성을 활용하여 시스템의 엔드 투 엔드 학습을 가능하게 하여 고차원 공간에서 안정적인 최적화를 촉진한다.
• 100차원에 이르는 MFG 문제에 대해 본 방법의 유효성을 입증한다. 이는 기존 기법의 성능 한계를 초월한다.

제안 방법

• MFG의 기초적인 변분 원시-이중 구조를 활용하여 스토하스틱 MFG를 볼록-볼록형 사다리꼴 최적화 문제로 재구성한다.
• 값 함수와 인구 밀도를 각각 별도의 신경망으로 파arameter화함으로써 고차원 공간에서의 확장 가능한 표현을 가능하게 한다.
• 학습 과정은 에이전트 제어(값 네트워크 최적화)와 인구 제어(밀도 네트워크 최적화)를 번갈아 수행하며, GAN의 학습 방식을 모방한다.
• 알고리즘은 MFG의 해를 최소화-최대화 최적화 문제로 간주하여, 값 네트워크는 목적 함수를 최소화하고 밀도 네트워크는 이를 최대화하도록 설계한다.
• 재구성된 문제의 볼록-볼록 성질을 활용하여 수렴성을 보장함으로써 고차원에서도 안정적인 학습이 가능하도록 한다.
• 딥러닝의 역전파를 활용하여 엔드 투 엔드로 구현함으로써, 두 신경망을 동시에 기울기 기반 최적화가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 기존 수치적 방법으로는 다루기 어려운 고차원 스토하스틱 평균장 게임을 딥러닝 프레임워크가 효과적으로 해결할 수 있는가?
• RQ2 MFG의 원시-이중 변분 구조는 어떻게 안정적이고 확장 가능한 최적화 알고리즘을 설계하는 데 활용될 수 있는가?
• RQ3 MFG 해법 과정은 어느 정도까지 생성적 적대적 네트워크(GAN) 유사 학습 절차로 해석될 수 있는가?
• RQ4 신경망 기반 번갈아 최적화 기법으로 해결할 수 있는 MFG 문제의 최대 차원은 얼마인가?
• RQ5 인구 제어와 에이전트 제어 네트워크 간의 번갈아 최적화는 고차원 환경에서 수렴성과 해의 정확도를 어떻게 향상시키는가?

주요 결과

• APAC-Net는 기존 방법의 한계를 초월하여 100차원에 이르는 스토하스틱 평균장 게임을 성공적으로 해결함으로써 확장성을 입증했다.
• MFG를 볼록-볼록형 사다리꼴 최적화 문제로 재구성함으로써 신경망 파arameter화를 통해 안정적이고 효율적인 최적화가 가능해졌다.
• 값 함수와 인구 밀도를 번갈아 최적화하는 방식을 통해 GAN의 학습 동역학을 모방한 효과적인 학습이 이루어졌다.
• 값 함수와 밀도 함수에 대해 별도의 두 신경망을 사용함으로써 고차원 상태 공간에서 더 표현력 있고 정확한 표현이 가능했다.
• 기존의 해법이 차원의 저주로 인해 실패하는 복잡한 고차원 스토하스틱 동역학 문제에 대해서도 이 프레임워크는 유망한 성능을 보였다.
• 변분 원리와 딥러닝을 융합함으로써 MFG를 해결하는 데 새로운 패러다임을 제시하였으며, 향후 대규모 스토하스틱 제어 분야의 연구에 길을 열었다.