[논문 리뷰] Exploration noise for learning linear-quadratic mean field games

François Delarue, Athanasios Vasileiadis|arXiv (Cornell University)|2021. 07. 02.

Stochastic processes and financial applications참고 문헌 54인용 수 5

한 줄 요약

이 논문은 선형-이차 평균장게임(MFGs)에서 흔히 나타나는 공통 노이즈가 가짜 플레이 학습 알고리즘의 수렴을 안정화하고 가속화하는 탐색 메커니즘으로 작용할 수 있음을 보여준다. 매개변수 $\pi$로 제어되는 기하학적 가중치 구조를 가진 기울인 가짜 플레이 변종을 도입함으로써, 이 방법은 비단조화적이거나 비퍼텐셜 설정에서도 전역 평형점으로의 수렴을 보장한다. 수치 결과는 최적의 노이즈 조건 하에서 다섯 번 이내로 정확한 평형점이 빠르게 선택됨을 보여준다.

ABSTRACT

The goal of this paper is to demonstrate that common noise may serve as an exploration noise for learning the solution of a mean field game. This concept is here exemplified through a toy linear-quadratic model, for which a suitable form of common noise has already been proven to restore existence and uniqueness. We here go one step further and prove that the same form of common noise may force the convergence of the learning algorithm called `fictitious play', and this without any further potential or monotone structure. Several numerical examples are provided in order to support our theoretical analysis.

연구 동기 및 목표

• 공통 노이즈가 평균장게임 학습에서 탐색 메커니즘으로 기능할 수 있는지, 특히 표준 학습이 실패할 수 있는 비단조화적이거나 비퍼텐셜 설정에서의 가능성을 탐구한다.
• 공통 노이즈를 활용해 수렴 성질을 향상시키는 데 초점을 맞춘 수정된 학습 알고리즘인 '기울인 가짜 플레이'를 개발하고 분석한다.
• 1D 선형-이차 MFG에서 비볼록 퍼텐셜을 가진 경우, 기울인 가짜 플레이가 국소 평형점이 아닌 전역 최소화점을 선택할 수 있음을 수치적으로 입증한다.
• 이론적 MFG 분석과 실용적 강화학습 간의 다리를 놓기 위해, 공통 노이즈가 학습 안정성과 탐색 능력을 향상시킨다는 점을 보여준다.

제안 방법

• 시간에 따라 변화하는 드리프트 $\varpi \mathbf{h}^n$에 의해 유도되는 기하학적 측도 변화(Girsanov 유형)를 포함한 '기울인 가짜 플레이' 알고리즘을 도입한다.
• 기하학적 가중치 구조를 학습 업데이트에 적용하며, $\varpi \in (1, \sqrt{2}]$ 범위에서 탐색과 전역 평형점으로의 수렴을 향상시킨다.
• Girsanov 변환을 사용해 측도를 기울임으로써, 희귀하지만 정보가 풍부한 경로에 더 민감하게 반응하는 학습 과정을 만든다.
• M = 2 × 10^4개의 경로를 사용한 몬테카를로 시뮬레이션과 degree 6까지의 헤르미트 다항식 회귀를 통해 기울인 측도 하에서의 조건부 평균을 추정한다.
• 선형-이차 MFG에서 유일성을 복원하는 데 입증된 공통 노이즈 구조를 활용하여, 해 공간에 대한 부드러운 영향을 발휘한다.
• 공통 노이즈를 내재된 탐색 노이즈로 사용함으로써 외부 편향 없이 통계적 학습에 알고리즘을 적응시킨다.

(a) Evolution of ${\mathscr{J}}$ with $\kappa$ .

실험 결과

연구 질문

• RQ1 선형-이차 MFG에서 공통 노이즈가 학습 알고리즘의 효과적인 탐색 메커니즘으로 작용할 수 있는가?
• RQ2 비단조화적이거나 비퍼텐셜 MFG에서 표준 가짜 플레이가 실패할 수 있는 상황에서, 기울인 가짜 플레이 알고리즘이 전역 평형점으로 수렴하는가?
• RQ3 기하학적 가중치 매개변수 $\varpi$의 선택이 정확한 평형점 선택의 수렴 속도와 정확성에 어떤 영향을 미치는가?
• RQ4 Girsanov 기반의 측도 기울임이 희귀하지만 정보가 풍부한 상태의 샘플링을 향상시켜 학습 과정을 개선할 수 있는가?
• RQ5 노이즈 강도 $\varepsilon$는 학습 알고리즘의 분산과 안정성에 어떤 영향을 미치는가?

주요 결과

• 기울인 가짜 플레이에서 $\varpi = 4$일 경우, 이론적 범위 $ (1, \sqrt{2}] $ 외부에 있음에도 불구하고 다섯 번의 반복 내에 전역 평형점으로 수렴하였다.
• $\varpi = 1.5$일 경우, 열 번의 반복 내에 수렴하였으며, 속도와 안정성 사이의 명확한 트레이드오���이 나타났다.
• $\varpi = 1$일 경우, 십오 번 이상의 반복이 필요했고 잔여 분산이 관찰되어 전역 최소화점의 선택이 덜 강건함을 시사했다.
• 초기 조건이 국소 평형점에 있었음에도 불구하고, 알고리즘은 $x \approx -0.5$에 위치한 전역 최소화점으로 성공적으로 선택하였다.
• 수치 결과는 $\varepsilon$를 0.1로 감소시킬 경우 Girsanov 변환의 분산 증가로 인해 성능 악화가 발생함을 보여주었으며, 노이즈 강도와 안정성 사이의 트레이드오프를 시사했다.
• 공통 노이즈를 탐색 노이즈로 사용함으로써 알고리즘은 국소 최소값에서 벗어나 전역 해로 수렴할 수 있었으며, 이는 학습의 강건성을 향상시키는 데서 그 역할을 검증하였다.

(b) Evolution of $\frac{\mathrm{d}}{\mathrm{d}\beta}{\mathscr{J}}$ with $\kappa$ .