[논문 리뷰] Unified Reinforcement Q-Learning for Mean Field Game and Control Problems

Andrea Angiuli, Jean‐Pierre Fouque외 1명|arXiv (Cornell University)|2020. 06. 24.

Adaptive Dynamic Programming Control인용 수 7

한 줄 요약

이 논문은 이산 시간 및 이산 공간에서 평균장 게임(Mean Field Game, MFG)과 평균장 제어(Mean Field Control, MFC) 문제의 해를 동시에 학습할 수 있는 통합된 이중시간스케일 강화학습 알고리즘 U2-MF-QL을 제안한다. 두 학습 속도 비율을 조절함으로써 동일한 알고리즘이 비협력적 MFG 균형 또는 협력적 MFC 최적해를 학습할 수 있으며, 모델 프리(estimation)를 통해 인구 분포를 추정함으로써 선형-제곱형 설정에서 이론적 기준치에 수렴한다.

ABSTRACT

We present a Reinforcement Learning (RL) algorithm to solve infinite horizon asymptotic Mean Field Game (MFG) and Mean Field Control (MFC) problems. Our approach can be described as a unified two-timescale Mean Field Q-learning: The \emph{same} algorithm can learn either the MFG or the MFC solution by simply tuning the ratio of two learning parameters. The algorithm is in discrete time and space where the agent not only provides an action to the environment but also a distribution of the state in order to take into account the mean field feature of the problem. Importantly, we assume that the agent can not observe the population's distribution and needs to estimate it in a model-free manner. The asymptotic MFG and MFC problems are also presented in continuous time and space, and compared with classical (non-asymptotic or stationary) MFG and MFC problems. They lead to explicit solutions in the linear-quadratic (LQ) case that are used as benchmarks for the results of our algorithm.

연구 동기 및 목표

• 아키텍처 변경 없이도 Mean Field Game(MFG)와 Mean Field Control(MFC) 문제를 모두 해결할 수 있는 단일 강화학습 알고리즘을 개발하는 것.
• 에이전트가 평균장을 직접 관측할 수 없는 MFG/MFC 환경에서 인구 분포를 모델 프리 방식으로 학습하는 것.
• 이중시간스케일 확률적 근사 접근법을 사용하여 MFG와 MFC 학습을 동일한 프레임워크에 통합하는 것.
• 기본 선형-제곱형 문제에 대한 수치 실험을 통해 알고리즘의 수렴성과 정확도를 검증하는 것.
• 에피소드 간 Q-값 변화와 경험적 분포 기반의 실용적 정지 기준을 제공하는 것.

제안 방법

• 알고리즘은 Q-함수(빠른 시간스케일)와 경험적 분포(느린 시간스케일)에 대해 별도의 학습 속도를 사용하는 이중시간스케일 확률적 근사 프레임워크를 사용한다.
• 에이전트가 행동과 상태 분포를 동시에 선택하여 평균장 상호작용을 반영하기 위해 고전적 Q-학습을 확장한다.
• 행동-가치 함수는 평균장 영향을 통합하도록 재정의되며, Q-함수는 연합 상태-행동 분포 하에서의 기대 할인 보상을 나타낸다.
• 학습 중에 $\varepsilon$-그리디 정책을 사용하며, $\varepsilon \to 0$일 때 결정론적 제어가 도출된다.
• 학습 과정은 온라인 업데이트를 통해 상태의 에르고딕 분포를 추정하며, 장기 경험적 분포를 추적하기 위해 느린 시간스케일을 사용한다.
• 에피소드 간 분포의 총 변화량과 Q-값 변화의 $L^{1,1}$-노름 기반 정지 기준을 구현한다.

실험 결과

연구 질문

• RQ1 단일 강화학습 알고리즘이 두 학습 속도 비율만 조절함으로써 MFG와 MFC 해를 모두 학습시킬 수 있는가?
• RQ2 인구 분포가 관측되지 않고 온라인으로 추정되어야 할 경우, 알고리즘이 최적 제어 및 에르고딕 분포를 얼마나 잘 학습하는가?
• RQ3 선형-제곱형 기준 사례에서 알고리즘의 수렴 행동은 어떻게 되며, 이론적 해와 비교해 볼 때 어떻게 되는가?
• RQ4 다양한 학습 속도 비율이 MFG와 MFC 설정에서 알고리즘의 안정성과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 에피소드 간 Q-값 변화와 분포 추정치의 누적 변화를 기반으로 한 알고리즘의 정지 기준은 효과적으로 캘리브레이션될 수 있는가?

주요 결과

• U2-MF-QL 알고리즘은 동일한 아키텍처를 사용하고 두 학습 속도 비율만 조절함으로써 MFG와 MFC 문제에 대한 최적 제어 및 에르고딕 분포를 성공적으로 학습한다.
• 선형-제곱형 기준 사례에서, 알고리즘은 MFG 및 MFC 모두에서 100,000 에피소드 후 제어에 대한 평균 제곱오차(MSE)가 0.01 이하로 이론적 해에 수렴한다.
• MFG 설정에서는 에르고딕 평균 추정 오차가 점차 감소하는 반면, MFC 설정에서는 분포 업데이트 속도가 느려서 더 빠르지만 진동하는 수렴이 관찰된다.
• 분포의 총 변화량과 Q-값 변화의 $L^{1,1}$-노름 기반 정지 기준은 수렴을 효과적으로 탐지하며, 두 지표 모두 시간이 지남에 따라 단조 감소한다.
• $(\omega^{Q}, \omega^{\mu}) = (0.55, 0.85)$의 조합은 MFG 해 학습을, $(0.65, 0.15)$의 조합은 MFC 해 학습을 유도하며, 학습 속도 비율 조절을 통한 통합이 확인된다.
• 실험 결과는 학습된 Q-값과 제어가 이론적 해와 매우 유사하며, 시험 범위 내 상태에서 가치 함수 근사 오차가 0.02 이하로 유지됨을 보여준다.