[논문 리뷰] Provable Fictitious Play for General Mean-Field Games

Qiaomin Xie, Zhuoran Yang외 2명|arXiv (Cornell University)|2020. 10. 08.

Reinforcement Learning in Robotics참고 문헌 71인용 수 8

한 줄 요약

이 논문은 평균장 게임의 일반적인 설정에서 증명 가능하게 수렴하는 단일루프 강화학습 알고리즘을 제안한다. 평균장 상태와 정책 간의 허구적 플레이로 문제를 재정의하고, 번갈아가며 경사 하강법과 프록시멀 정책 최적화(PPO)를 사용하여 나시 균형으로의 하위선형 수렴을 달성한다. 이는 이 설정에서 단일루프 접근법으로서 최초로 증명 가능한 수렴을 보장하는 것이다.

ABSTRACT

We propose a reinforcement learning algorithm for stationary mean-field games, where the goal is to learn a pair of mean-field state and stationary policy that constitutes the Nash equilibrium. When viewing the mean-field state and the policy as two players, we propose a fictitious play algorithm which alternatively updates the mean-field state and the policy via gradient-descent and proximal policy optimization, respectively. Our algorithm is in stark contrast with previous literature which solves each single-agent reinforcement learning problem induced by the iterates mean-field states to the optimum. Furthermore, we prove that our fictitious play algorithm converges to the Nash equilibrium at a sublinear rate. To the best of our knowledge, this seems the first provably convergent single-loop reinforcement learning algorithm for mean-field games based on iterative updates of both mean-field state and policy.

연구 동기 및 목표

• 다중 에이전트 강화학습에서 '다수의 에이전트의 곡률' 문제로 인한 확장성 도전에 대응하기 위해.
• 정적 평균장 게임을 위한 계산적으로 효율적인 단일루프 강화학습 알고리즘을 개발하기 위해.
• 각 반복에서 내부 MDP를 정확히 최적화해야 하는 이중루프 방법을 대체하기 위해.
• 제안된 알고리즘이 나시 균형으로 하위선형 속도로 수렴함을 증명하기 위해.
• 정책과 평균장 상태의 반복적 업데이트를 기반으로 한 최초의 증명 가능하게 수렴하는 단일루프 알고리즘을 확립하기 위해.

제안 방법

• 대표 에이전트의 정책과 평균장 상태 간의 이중자 게임으로 평균장 게임을 재정의한다.
• 평균장 상태를 경사 하강법으로, 정책을 프록시멀 정책 최적화(PPO)로 번갈아가며 업데이트한다.
• 각 플레이어가 상대의 현재 전략에 대해 최적의 반응을 보이는 허구적 플레이 역동성을 적용한다.
• 고차원 상태 및 행동 공간을 다루기 위해 딥 네ural 네트워크를 사용한 함수 근사 기법을 적용한다.
• 수렴 한계를 확립하기 위해 수축 사상, 핀스커 부등식, 코시-슈바르츠 부등식과 같은 이론적 도구를 적용한다.
• 정책과 평균장 상태의 평균 이탈을 제한하여 하위선형 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 일반적인 평균장 게임에서 단일루프 강화학습 알고리즘이 나시 균형으로 증명 가능한 수렴을 달성할 수 있는가?
• RQ2 제안된 허구적 플레이 알고리즘의 수렴 속도는 기존의 이중루프 방법과 비교해 어떻게 되는가?
• RQ3 정책과 평균장 상태의 번갈아가는 업데이트에 대해 평균장 게임 설정에서 어떤 이론적 보장을 확립할 수 있는가?
• RQ4 함수 근사와 확률적 업데이트를 사용할 때 알고리즘이 수렴을 유지할 수 있는가?
• RQ5 수렴 속도는 시간 영역과 근사 오차와 같은 문제 파라미터에 어떻게 의존하는가?

주요 결과

• 제안된 알고리즘은 정책 이탈에 대해 $ \mathcal{O}\left(\frac{\log T}{T^{4/9}}\right) $, 평균장 상태 이탈에 대해 $ \mathcal{O}\left(\frac{\log T}{T^{1/9}}\right) $ 의 속도로 나시 균형으로 하위선형 수렴을 달성한다.
• 조밀도 비율의 유계성과 가치 함수의 리프시츠 연속성과 같은 온건한 가정 하에서 수렴 속도가 확립된다.
• 각 반복에서 내부 MDP를 정확히 최적화할 필요가 없어 단일루프 아키텍처를 유지하면서 계산 효율성을 향상시킨다.
• 이론적 분석에서 제닝스 부등식, 코시-슈바르츠 부등식, 핀스커 부등식을 활용하여 정책과 상태의 이탈을 제한한다.
• 근사 오차 $ \varepsilon $ 에 대해 알고리즘이 강건하며, 수렴 속도는 $ \mathcal{O}(\varepsilon^{1/4}) $ 의 비율로 스케일링된다.
• 이 작업은 정책과 평균장 상태의 공동 업데이트를 기반으로 한 최초의 증명 가능하게 수렴하는 단일루프 강화학습 알고리즘을 제시한다.