[논문 리뷰] Deep Mean Field Games for Learning Optimal Behavior Policy of Large Populations.

Jiachen Yang, Xiaojing Ye외 3명|arXiv (Cornell University)|2017. 11. 08.

Opinion Dynamics and Social Influence참고 문헌 17인용 수 22

한 줄 요약

이 논문은 대규모 인구 집단에서 최적의 행동 정책을 모델링하고 학습하기 위해 평균장 게임 이론(Mean Field Game Theory)과 마코프 결정 과정(Markov Decision Processes, MDPs)을 통합한 딥 평균장 게임(MFG) 프레임워크를 제안한다. 특수한 클래스의 MFG를 MDP로 환원함으로써, 실제 세계 데이터로부터 보상 함수와 전진 역학을 종단 간(end-to-end)으로 학습할 수 있게 되었으며, 이는 실제 소셜 미디어 인구 집단에서 MFG 모델에 대한 최초의 실증적 검증을 달성했다.

ABSTRACT

We consider the problem of representing a large population's behavior policy that drives the evolution of the population distribution over a discrete state space. A discrete time mean field game (MFG) is motivated as an interpretable model founded on game theory for understanding the aggregate effect of individual actions and predicting the temporal evolution of population distributions. We achieve a synthesis of MFG and Markov decision processes (MDP) by showing that a special MFG is reducible to an MDP. This enables us to broaden the scope of mean field game theory and infer MFG models of large real-world systems via deep inverse reinforcement learning. Our method learns both the reward function and forward dynamics of an MFG from real data, and we report the first empirical test of a mean field game model of a real-world social media population.

연구 동기 및 목표

• 대규모 인구 집단의 행동 정책을 해석 가능한 평균장 게임(MFG) 이론을 사용하여 모델링하기.
• 특정 MFG 클래스가 MDP로 환원 가능함을 보여줌으로써 평균장 게임 이론과 마코프 결정 과정(MDPs)을 연결하기.
• 딥 인버스 강화 학습을 통해 실제 시스템에서 MFG 모델의 추론을 가능하게 하기.
• 특히 소셜 미디어 맥락에서 실제 데이터로부터 보상 함수와 전진 역학을 동시에 학습하기.
• 실제 세계 인구 집단에서 MFG 모델에 대한 최초의 실증적 검증을 수행하기.

제안 방법

• 이산 상태 공간에서의 이산 시간 평균장 게임(MFG) 모델을 수립하여 인구 수준의 행동을 표현하기.
• 특정 클래스의 MFG가 수학적으로 마코프 결정 과정(MDP)으로 환원 가능함을 입증하여 MDP 기반 학습 기법의 적용을 가능하게 하기.
• 관측된 인구 데이터로부터 보상 함수와 전진 역학을 동시에 추론하기 위해 딥 인버스 강화 학습을 적용하기.
• 신경망을 사용해 정책, 가치 함수, 역학을 매개변수화하여 고차원 설정에서의 확장 가능한 학습을 가능하게 하기.
• 실제 세계 데이터를 사용해 종단 간으로 모델을 훈련하여 인구 분포의 시간적 변화를 캡처하기.
• 모의 실험을 통해 학습된 MFG 모델의 인구 역학을 시뮬레이션하고 관측된 데이터와 비교함으로써 검증하기.

실험 결과

연구 질문

• RQ1 딥 인버스 강화 학습을 사용해 실제 세계 인구 집단 데이터로부터 평균장 게임 모델을 효과적으로 학습할 수 있는가?
• RQ2 얼마나 깊이까지 평균장 게임이 마코프 결정 과정으로 환원되어 확장 가능한 학습을 가능하게 하는가?
• RQ3 제안된 방법은 대규모 인구 집단의 보상 함수와 전진 역학을 얼마나 정확하게 추론할 수 있는가?
• RQ4 학습된 MFG 모델은 실제 시스템에서 인구 분포의 시간적 변화를 예측할 수 있는가?
• RQ5 실제 소셜 미디어 인구 집단에서 MFG 모델의 실증 성능은 어떠한가?

주요 결과

• 제안된 방법은 실제 데이터로부터 평균장 게임의 보상 함수와 전진 역학을 성공적으로 학습하여 인구 행동의 정확한 모델링을 가능하게 했다.
• 특수한 MFG 클래스를 MDP로 환원함으로써 표준 MDP 학습 기법을 복잡한 인구 수준의 의사결정 문제에 적용할 수 있게 되었다.
• 이 모델은 실제 세계의 소셜 미디어 인구 집단 데이터에서 MFG 모델에 대한 최초의 실증적 검증을 달성했다.
• 학습된 MFG 모델은 실제 소셜 미디어 플랫폼에서 관측된 인구 분포의 시간적 변화를 정확하게 예측했다.
• 딥 인버스 강화 학습은 정책, 보상, 역학을 동시에 추론할 수 있게 해주어 대규모 인구 모델링에서의 해석 가능성과 일반화 능력을 크게 향상시켰다.
• 이 프레임워크는 게임 이론과 강화 학습 원리를 활용하여 복잡한 대규모 사회 시스템을 모델링하는 데의 가능성과 효과성을 입증했다.