[논문 리뷰] Model-Free Mean-Field Reinforcement Learning: Mean-Field MDP and Mean-Field Q-Learning

René Carmona, Mathieu Laurière외 1명|arXiv (Cornell University)|2019. 10. 28.

Simulation Techniques and Applications참고 문헌 31인용 수 39

한 줄 요약

이 논문은 Mean Field MDP (MFMDP) 프레임워크를 공통 잡음(common noise)과 공통 정책 랜덤화를 통해 평균-필드 제어(MFC)와 MFMDP를 연결하고, 기초적 특성을 증명하며, 수렴 보장을 갖춘 모델-프리 RL 방법들(표형과 딥)을 개발한다.

ABSTRACT

We study infinite horizon discounted Mean Field Control (MFC) problems with common noise through the lens of Mean Field Markov Decision Processes (MFMDP). We allow the agents to use actions that are randomized not only at the individual level but also at the level of the population. This common randomization allows us to establish connections between both closed-loop and open-loop policies for MFC and Markov policies for the MFMDP. In particular, we show that there exists an optimal closed-loop policy for the original MFC. Building on this framework and the notion of state-action value function, we then propose reinforcement learning (RL) methods for such problems, by adapting existing tabular and deep RL methods to the mean-field setting. The main difficulty is the treatment of the population state, which is an input of the policy and the value function. We provide convergence guarantees for tabular algorithms based on discretizations of the simplex. Neural network based algorithms are more suitable for continuous spaces and allow us to avoid discretizing the mean field state space. Numerical examples are provided.

연구 동기 및 목표

• 무한 수렴 할인된 공통 잡음 하의 평균-필드 제어를 동기부여하고 형식화한다.
• population distribution가 MFMDP 상태로 작용하도록 MFMDP를 도입한다.
• MFC 정책과 MFMDP 정책(오픈 루프, 클로즈드 루프) 간의 이론적 연결을 확립한다.
• 평균-필드 설정에 적합하도록 RL 방법(표형 및 딥)을 개발하고 분석한다.
• 제안된 프레임워크에 대한 수렴 보장 및 수치적 예시를 제공한다.

제안 방법

• 인구 분포를 MFMDP 상태로 삼는 MFMDP를 정의한다.
• MFMDP 가치 함수에 대한 동적 계획 원리(DPP)를 증명한다(Theorem 19).
• 오픈 루프 MFC 가치 함수와 클로즈드 루프 MFC 가치 함수의 동등성(정리 27) 및 정상적인 클로즈드 루프 정책의 존재(보정 25)를 보인다.
• MFMDP의 상태-행동 가치(Q) 함수와 그것의 DPP를 도입하고 분석한다(Theorem 30).
• 단순체(Simplex) 이산화를 통한 표형 Q-학습(Theorem 35)과 연속 공간 처리를 위한 딥 RL 접근법을 제안한다.
• 표형 이산화 접근법의 수렴 보장을 제공하고, 이산화 없이 뉴럴 네트워크 기반 방법을 논의한다.

실험 결과

연구 질문

• RQ1 공통 잡음 하에서 평균-필드 제어를 인구 분포에 대해 마크오프 결정 프로세스(MDP)로 재구성할 수 있는가?
• RQ2 공통 난수 하에서 MFC의 오픈 루프/클로즈드 루프 정책과 MFMDP 정책 간의 관계는 무엇인가?
• RQ3 MFMDP와 MFQ-함수에 대한 동적 계획 원리(DPP)를 확립할 수 있는가?
• RQ4 MFMDP의 최적 정책이 원래의 MFC 문제의 최적 정책에 대응하고 정상적인 클로즈드 루프 정책이 존재하는가?
• RQ5 모델-프리 RL 방법(표형 및 딥)이 평균-필드 설정에 적응하고 수렴 보장을 가질 수 있는가?

주요 결과

• 원래의 MFC 문제에 대해 최적의 클로즈드 루프 정책이 존재한다(존재성 결과).
• MFMDP 가치 함수에 대한 동적 계획 원리(DPP)가 성립한다.
• MFMDP 프레임워크 하에서 오픈 루프와 클로즈드 루프 MFC 가치 함수가 서로 같아진다(정리 27).
• 정적 클로즈드 루프 정책의 존재가 있다(보정 25).
• MFMDP 상태-행동 가치 함수가 자체적인 DPP를 만족한다(Theorem 30).
• MFMDP 설정에서 표형 Q-학습은 수렴한다(Theorem 35)고, 이산화 없이 연속 공간을 다루기 위한 신경망 기반 방법을 제안한다.