[논문 리뷰] Entropy Regularization for Mean Field Games with Learning

Xin Guo, Renyuan Xu외 1명|arXiv (Cornell University)|2020. 09. 30.

Reinforcement Learning in Robotics참고 문헌 28인용 수 12

한 줄 요약

이 논문은 유한한 시간 간격을 가진 평균장 게임(MFGs)에서 수렴의 안정성과 수렴 속도를 향상시키기 위해 엔트로피 정규화를 제안한다. 이를 통해 에이전트는 시간에 따라 변하는 탐색 정책을 학습할 수 있다. 모델에 종속되지 않은 정책 그래เดียน트 알고리즘을 도입하여 안정적이고 빠른 수렴과 유한한 시간 간격 MFGs 내 최적의 탐색 스케줄링 학습을 달성한다.

ABSTRACT

Entropy regularization has been extensively adopted to improve the efficiency, the stability, and the convergence of algorithms in reinforcement learning. This paper analyzes both quantitatively and qualitatively the impact of entropy regularization for Mean Field Game (MFG) with learning in a finite time horizon. Our study provides a theoretical justification that entropy regularization yields time-dependent policies and, furthermore, helps stabilizing and accelerating convergence to the game equilibrium. In addition, this study leads to a policy-gradient algorithm for exploration in MFG. Under this algorithm, agents are able to learn the optimal exploration scheduling, with stable and fast convergence to the game equilibrium.

연구 동기 및 목표

• 유한한 시간 간격 평균장 게임에서 엔트로피 정규화가 수렴의 안정성과 수렴 속도를 향상시키는 데 기여하는 이론적 근거를 제시하는 것.
• 대규모 인구 집단 환경에서 다중에이전트 강화학습을 위한 엔트로피 정규화를 통합한 모델에 종속되지 않은 정책 그래데ียน트 알고리즘을 개발하는 것.
• 엔트로피 정규화를 통해 에이전트가 시간에 따라 변하는 탐색 정책(최적의 탐색 스케줄링)을 학습할 수 있도록 하는 것.
• 알고리즘의 안정성, 수렴 속도 및 평균장 균형 학습 정확도에 대한 이론적 및 실증적 검증을 제공하는 것.
• 특히 유한한 시간 간격 MFGs에서 다중에이전트 강화학습의 엔트로피 정규화 이론적 이해의 격차를 메우는 것.

제안 방법

• 정책 그래데ียน트 업데이트에 엔트로피 정규화를 적용하여 샤논 엔트로피를 사용해 탐색을 장려하고 학습 안정성을 향상시킨다.
• 영차수 최적화 방법을 사용하여 도함수에 접근할 필요 없이 편향을 이용해 그래디언트를 추정한다.
• 에이전트 정책 업데이트와 고정된 평균장 정보 기반의 평균장 업데이트를 번갈아 수행하여 허구적 플레이를 모방한다.
• 완전한 가우시안 스무딩을 피하기 위해 구면 위의 가우시안 스무딩을 사용하여 유한하고 편향이 있는 그래디언트 추정을 수행한다.
• 탐색 분산(정책의 표준편차)은 시간에 따라 변하는 함수로 학습하여 최적의 탐색 스케줄링을 표현한다.
• 모델에 종속되지 않은 프레임워크에서 구현되어 모델 잘못 지정의 위험을 줄이고 불확실한 환경에서의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화는 유한한 시간 간격 설정에서 평균장 게임 학습의 안정성과 수렴 속도에 어떻게 영향을 미치는가?
• RQ2 엔트로피 정규화는 에이전트가 탐색-이용 균형을 최적화하는 시간에 따라 변하는 탐색 정책을 학습하는 데 기여하는가?
• RQ3 엔트로피 정규화는 평균장 게임 내 최적 정책의 구조에 이론적으로 어떤 영향을 미치는가?
• RQ4 순수한 이용과 비교했을 때 엔트로피 정규화의 포함 여부가 수렴 및 균형 정확도에 어떻게 영향을 미치는가?
• RQ5 알고리즘이 최적의 탐색 스케줄링(즉, 시간에 따라 변하는 정책 분산)을 높은 정확도로 학습할 수 있는가?

주요 결과

• 엔트로피 정규화가 없는 경우($\lambda_{SE} = 0$), 알고리즘이 불안정해지며 평균장 업데이트 시점에서 오차 수준이 진동하고 급격한 점프가 발생한다.
• 엔트로피 정규화가 적용된 경우($\lambda_{SE} = 1$ 또는 $3$), 알고리즘이 안정적으로 수렴하며 정규화 강도에 따라 3~5회의 외부 반복 내에서 수렴한다.
• 엔트로피 정규화 강도가 높을수록 수렴 속도가 빨라진다: $\lambda_{SE} = 3$일 경우 3회의 외부 반복 내에 수렴하고, $\lambda_{SE} = 1$일 경우 5회 소요된다.
• 모든 경우($\lambda_{SE} = 1$ 및 $3$)에서 평균장 상태 $m_s$와 가치 함수 $V_s$에 대해 수렴 오차가 5% 이내로 유지된다.
• 에이전트는 최적의 탐색 스케줄링을 성공적으로 학습하였으며, 정책의 분산이 시간이 지남에 따라 감소하고 오차가 5% 이내로 추정되었다.
• 학습된 평균장 균형은 정확하다: $\lambda_{SE} = 1$일 경우 $\widehat{M} = 0.732$ 대비 진짜 값 $M = 0.75$이며, $\lambda_{SE} = 3$일 경우 $\widehat{M} = 0.736$이다.