[논문 리뷰] Computational methods for nonlocal mean field games with applications

Siting Liu, Matt Jacobs외 3명|arXiv (Cornell University)|2020. 04. 25.

Stochastic processes and financial applications참고 문헌 32인용 수 8

한 줄 요약

이 논문은 특징 공간 전개와 안장점 재구성 기반의 커널 기반 계산 프레임워크를 도입하여 비국소 평균장 게임(nonlocal mean-field games)을 효율적으로 해결한다. 이는 PDHG와 같은 원본-이중 방법을 통해 실현 가능하며, 격자 점 수에 대해 선형 계산 비용을 달성하고 비국소 상호작용에 대해 정확한 해를 제공한다. 시간에 의존하는 및 정적 MFG 시스템에 대해 검증되었으며, 알려진 기준 솔루션으로 수렴한다.

ABSTRACT

We introduce a novel framework to model and solve mean-field game systems with nonlocal interactions. Our approach relies on kernel-based representations of mean-field interactions and feature-space expansions in the spirit of kernel methods in machine learning. We demonstrate the flexibility of our approach by modeling various interaction scenarios between agents. Additionally, our method yields a computationally efficient saddle-point reformulation of the original problem that is amenable to state-of-the-art convex optimization methods such as the primal-dual hybrid gradient method (PDHG). We also discuss potential applications of our methods to multi-agent trajectory planning problems.

연구 동기 및 목표

• 비국소 상호작용을 수반하는 비국소 평균장 게임(MFG) 시스템에 대해 계산적으로 효율적이고 유연한 수치적 방법을 개발하기 위해.
• 기존 방법이 비국소 MFG에서 초선형 비용을 유발하는 문제를 해결하기 위해 커널 기반 특징 전개를 통해 상호작용을 분리함으로써.
• 원본-이중 볼록 최적화 방법(PDHG 등)을 비국소 MFG에 적용할 수 있도록 문제를 안장점 형태로 재구성함으로써.
• 조정 가능한 커널 기저 함수를 통해 이질적 또는 하위영역 특화 상호작용과 같은 다양한 상호작용 시나리오를 모델링할 수 있도록.
• 장시간 동안의 동역학을 통해 정적 MFG 시스템을 근사함으로써, 전환성 성질(turnpike property)을 활용함으로써.

제안 방법

• 비국소 상호작용을 커널 함수 $ K(x,y) $ 및 $ S(x,y) $로 표현하고, 차원을 감소시키기 위해 특징 기저로 전개한다.
• 원본-이중 프레임워크를 사용하여 MFG 시스템을 안장점 문제로 재구성함으로써 PDHG를 통한 효율적 해법을 가능하게 한다.
• 특징 공간 전개를 통해 시스템을 분리함으로써 PDHG 알고리즘 내에서 병렬화 가능한 선형 비용의 프록시멀 단계를 허용한다.
• 커널 전개 계수에 대한 명시적 프록시멀 업데이트를 사용하여 선형 계산 복잡도를 유지한다.
• 시간 스케일링과 장시간 근사를 적용하여, 큰 $ T $를 갖는 시간에 의존하는 프레임워크에 정착 MFG 시스템을 통합함으로써 해를 구한다.
• 주기적 영역에서 스펙트럼 정확도를 확보하기 위해 적분 연산자를 삼각 다항식(예: 차수 $ n=2 $ 이하)을 사용해 근사한다.

실험 결과

연구 질문

• RQ1 일반적인 상호작용 커널을 갖는 비국소 평균장 게임은 커널 기반 특징 전개를 통해 효율적으로 해결될 수 있는가?
• RQ2 제안된 안장점 재구성 방식은 비국소 MFG에서 PDHG를 사용해 선형 비용 계산을 가능하게 하는가?
• RQ3 장시간 역학을 통한 정적 MFG 시스템 해 근사에서 이 방법은 얼마나 정확한가?
• RQ4 커널 기저 설계를 통해 이질적 또는 하위영역 특화 에이전트 상호작용을 다루는 데에 이 방법은 얼마나 다재다능한가?
• RQ5 시간에 의존하는 근사가 $ T \to \infty $로 갈수록 정적 MFG 해로 수렴하는 동작은 어떠한가?

주요 결과

• 특징 공간 전개로 인해 분리된 프록시멀 단계 덕분에 격자 점 수에 대해 선형 계산 비용을 달성한다.
• 시간에 의존하는 시스템 (6.4)에서 $ T=10 $일 때, 해는 정적 MFG 해 $ \bar{\rho} $로 약한 수렴을 보이며, $ \|V[\rho_T(\cdot,t)] - V[\hat{\rho}]\|_{L^\infty} \leq C/T^{1/2} $를 만족한다.
• 이 방법은 [5]에서의 결과와 유사한 해를 정확히 재구성하며, [5]의 이차형식 대비 일차형식을 사용함으로써 약간 덜 분산된 해를 제공한다.
• 가치 함수 $ \phi_T(x,t) - \int \phi_T(y,t)dy $ 는 정적 해 $ \bar{\phi} $ 를 근사함으로써 이론적 기대와의 일관성을 확인한다.
• 커널 기저 함수를 조작함으로써 복잡한 상호작용 패tern을 성공적으로 모델링할 수 있었으며, 이는 이질적 상호작용 제어를 가능하게 한다.
• $ d=2 $, $ \mu=200 $, $ Q(x_1,x_2) = -\sin(2\pi x_2) - \sin(2\pi x_1) - \cos(4\pi x_1) $ 일 때의 수치 결과는 $ t=0.4 $ 에서 안정적이고 정확한 해를 보여준다.