[논문 리뷰] Approximately Solving Mean Field Games via Entropy-Regularized Deep Reinforcement Learning

Kai Cui, Heinz Koeppl|arXiv (Cornell University)|2021. 02. 02.

Advanced Thermodynamics and Statistical Mechanics인용 수 12

한 줄 요약

이 논문은 비수축성 연산자를 가진 이산 시간 유한 평균장 게임(MFGs)을 해결하기 위해 엔트로피 정규화된 딥 강화학습 접근법을 제안한다. 기존의 고정점 반복 기법은 이러한 상황에서 실패한다. 볼츠만 정책과 온도 조절 정규화를 통합함으로써, 이 방법은 근사 나이시 균형으로의 증명 가능한 수렴을 보장하며, 기존의 허위 플레이(fictitious play)와 같은 방법들보다 트랙터블 및 고차원 문제에서 모두 열악한 성능을 보인다.

ABSTRACT

The recent mean field game (MFG) formalism facilitates otherwise intractable computation of approximate Nash equilibria in many-agent settings. In this paper, we consider discrete-time finite MFGs subject to finite-horizon objectives. We show that all discrete-time finite MFGs with non-constant fixed point operators fail to be contractive as typically assumed in existing MFG literature, barring convergence via fixed point iteration. Instead, we incorporate entropy-regularization and Boltzmann policies into the fixed point iteration. As a result, we obtain provable convergence to approximate fixed points where existing methods fail, and reach the original goal of approximate Nash equilibria. All proposed methods are evaluated with respect to their exploitability, on both instructive examples with tractable exact solutions and high-dimensional problems where exact methods become intractable. In high-dimensional scenarios, we apply established deep reinforcement learning methods and empirically combine fictitious play with our approximations.

연구 동기 및 목표

• 비수축성 고정점 연산자를 가진 유한시간 이산 시간 MFG에서 고정점 반복 기법이 실패하는 문제를 해결하기 위해.
• 표준 수축성 가정이 성립하지 않을 경우 평균장 균형을 근사하는 증명 가능한 수렴성 방법을 개발하기 위해.
• 딥 강화학습을 활용해 고차원 MFG에서 근사 나이시 균형을 실용적으로 계산할 수 있도록 하기 위해.
• 반복 정책 개선을 통해 열악성을 감소시킴으로써 기존의 허위 플레이와 같은 방법들을 향상시키기 위해.
• 엔트로피 정규화, 볼츠만 정책, 일반 MFG 설정에서의 수렴성 간의 연결 고리를 설정하기 위해.

제안 방법

• 부드러운 가치 함수 설정을 통해 MFG 고정점 반복에 엔트로피 정규화를 도입함으로써, 수축성이 없는 연산자일 경우에도 수렴을 보장한다.
• 부드러운 Q-값 함수에서 유도된 볼츠만 정책을 사용해 확률적 정책을 매개변수화함으로써, 미분 가능하고 안정적인 최적화를 가능하게 한다.
• 이중 변수를 사용한 라그랑주 완화 프레임워크를 도입해 변동 확률 및 정책 제약 조건을 강제함으로써, 해석 가능한 최적화 문제를 도출한다.
• 엔트로피 정규화 하에 일반화된 벨만 방정식을 반영한 재귀적 부드러운 Q-값 갱신을 유도함으로써, 반복적 정책 개선이 가능하게 한다.
• 입자 기반 시뮬레이션과 함께 딥 강화학습을 적용해 고차원 상태 및 행동 공간으로의 확장성을 확보한다.
• 제안된 엔트로피 정규화 근사와 허위 플레이를 결합해 열악성을 반복적으로 감소시키고 균형 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화는 비수축성 연산자를 가진 이산 시간 유한 시간 MFG에서 고정점 반복을 안정화시킬 수 있는가?
• RQ2 온도 조절이 가능한 볼츠만 정책을 사용할 경우 일반 MFG 설정에서 근사 고정점으로의 증명 가능한 수렴이 가능한가?
• RQ3 고차원 MFG에서 제안된 방법의 열악성은 허위 플레이 및 기타 최첨단 방법들과 비교해 어떻게 되는가?
• RQ4 온도 매개변수를 조정함으로써 열악성을 임의로 낮출 수 있으며, 이는 계산 가능성을 유지하면서 가능한가?
• RQ5 엔트로피 정규화는 유일하지 않거나 비수축성 MFG 설정에서의 수렴성 및 평균장 균형의 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 고정점 연산자가 비수축성일 경우에도 근사 고정점으로의 증명 가능한 수렴을 달성하며, 이는 기존의 고정점 반복 기법이 실패하는 경우에 해당한다.
• 충분히 높은 온도로 엔트로피 정규화를 적용하면 수렴이 보장되며, 온도를 낮춤으로써 해를 진짜 균형에 임의로 가깝게 만들 수 있다.
• 낮은 차원 및 고차원 MFG 모두에서 허위 플레이 및 기타 기준 방법들에 비해 열악성이 크게 감소한다.
• 고차원 문제에서는 입자 기반 시뮬레이션과 딥 강화학습의 통합이 평균장 균형의 효과적인 근사에 기여한다.
• 볼츠만 정책 매개변수화를 통한 부드러운 Q-값 재귀는 안정적이고 미분 가능한 정책 최적화를 가능하게 하여 반복적 열악성 감소를 실현한다.
• 이론적 분석을 통해 이 방법을 통해 유도된 평균장 균형은 해당 유한 에이전트 게임에서 근사 나이시 균형을 구성함을 확인한다.