[논문 리뷰] Reinforcement Learning for Mean Field Games, with Applications to Economics

Andrea Angiuli, Jean‐Pierre Fouque외 1명|arXiv (Cornell University)|2021. 06. 25.

Economic Policies and Impacts인용 수 4

한 줄 요약

이 논문은 유한 시간 범위 설정에서 제어 기반 상호작용을 갖는 평균장 게임(MFG) 및 평균장 제어(MFC) 문제를 해결하기 위해 이중 시간스케일 강화학습 알고리즘 U2-MF-QL-FH를 제안한다. Q함수와 제어 분포의 학습률을 분리함으로써, 모델 프리 프레임워크 내에서 MFG와 MFC 학습을 통합하고, Q러닝과 분포 갱신을 통해 균형 해와 최적 제어 해의 정확한 근사치를 도출한다.

ABSTRACT

Mean field games (MFG) and mean field control problems (MFC) are frameworks to study Nash equilibria or social optima in games with a continuum of agents. These problems can be used to approximate competitive or cooperative games with a large finite number of agents and have found a broad range of applications, in particular in economics. In recent years, the question of learning in MFG and MFC has garnered interest, both as a way to compute solutions and as a way to model how large populations of learners converge to an equilibrium. Of particular interest is the setting where the agents do not know the model, which leads to the development of reinforcement learning (RL) methods. After reviewing the literature on this topic, we present a two timescale approach with RL for MFG and MFC, which relies on a unified Q-learning algorithm. The main novelty of this method is to simultaneously update an action-value function and a distribution but with different rates, in a model-free fashion. Depending on the ratio of the two learning rates, the algorithm learns either the MFG or the MFC solution. To illustrate this method, we apply it to a mean field problem of accumulated consumption in finite horizon with HARA utility function, and to a trader's optimal liquidation problem.

연구 동기 및 목표

• 제어 분포를 통한 상호작용을 갖는 평균장 게임 및 평균장 제어 문제를 해결하기 위한 모델 프리 강화학습 방법 개발.
• 다른 학습률 비율을 사용하여 단일 알고리즘 프레임워크 내에서 MFG와 MFC 해 학습을 통합.
• HARA 유틸리티 기반 소비 및 최적 유동성 확보와 같은 두 가지 경제적 응용 사례에서 방법의 효과성 입증.
• 모델 지식이 완전하지 않은 대규모 인구 결정 문제에 대해 확장 가능하고 수치적으로 안정적인 접근법 제공.
• 기존의 동역학이 알려져 있지 않은 환경에서 강화학습 기반 평균장 해법을 확장하여 시뮬레이션 또는 블랙박스 환경에서 학습 가능하게 함.

제안 방법

• 알고리즘은 이중 시간스케일 갱신 규칙을 사용한다: 행동가치(Q행렬)에 대해 빠른 갱신과 제어의 경험 분포에 대해 느린 갱신.
• 관측된 보상과 상태 전이를 기반으로 Q함수에 대해 Q러닝 갱신을 수행하며, ε = 0.1인 ε-그리디 탐색을 사용한다.
• 제어 분포 갱신은 이동 평균 또는 경험 빈도 추정치를 사용하며, Q함수보다 느린 학습률을 적용한다.
• 학습률 비율(ω^Q, ω^θ)이 MFG 또는 MFC 해로 수렴할지 결정한다: 빠른 Q갱신은 MFG를 지향하고, 느린 갱신은 MFC를 지향한다.
• 연속 상태 문제를 이산화하여 적용하며, 상태 공간과 행동 공간을 Δx = Δa = 1/4로 양자화한다.
• Borkar의 확률적 근사 이론을 평균장 설정으로 확장하여 수렴성의 정당성을 제시한다.

실험 결과

연구 질문

• RQ1 학습률 비율을 조절함으로써 단일 강화학습 알고리즘이 MFG와 MFC 해를 동시에 근사할 수 있는가?
• RQ2 Q함수 갱신과 분포 갱신의 상대 속도가 MFG 또는 MFC 해로의 수렴에 어떤 영향을 미치는가?
• RQ3 기본 동역학과 보상 함수가 알려져 있지 않을 때, 모델 프리 강화학습 접근법이 최적 제어와 평균장 항을 얼마나 잘 학습할 수 있는가?
• RQ4 HARA 유틸리티 최적화 및 최적 유동성 확보와 같은 경제적으로 관련 있는 문제에서 알고리즘이 어떻게 성능을 발휘하는가?
• RQ5 이산화 및 탐색 전략이 학습된 제어 및 분포 함수의 정확도에 어떤 영향을 미치는가?

주요 결과

• ω^Q = 0.55, ω^θ = 0.85일 때 U2-MF-QL-FH 알고리즘이 이론적 MFG 해를 성공적으로 근사하며, 초기 시점에서 학습된 제어와 이론적 제어 간의 높은 일치도를 보였다.
• ω^Q = 0.65, ω^θ = 0.15일 때 알고리즘은 MFC 해로 수렴하여, 균형 해와 최적 제어 영역 간 전환 능력을 입증하였다.
• 근사 정확도는 초기 시점에서 가장 높고, 최종 시간대에 가까워질수록 떨어지며, 후반기 학습의 복잡도가 높음을 시사한다.
• MFG 및 MFC 케이스 양쪽에서 학습된 제어 분포의 평균이 이론적 평균으로 수렴하였으며, 10회의 런 평균 결과로 안정적인 수렴 경향을 보였다.
• 자본 축적 및 유동성 확보 문제 양쪽에서 10회의 런 모두에서 안정적인 학습이 이루어졌고, 시간대 간 일관된 행동을 보였다.
• 알고리즘이 모델 불확실성에 대해 강건하며, 동역학과 보상이 알려져 있지만 복잡한 경우에도 수치 해법으로서 기능함을 입증하였다.