[논문 리뷰] Independent Natural Policy Gradient Always Converges in Markov Potential Games

Roy Fox, Stephen McAleer외 2명|arXiv (Cornell University)|2021. 10. 20.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 고정 학습률을 사용함에도 불구하고, 유일한 최적 값이 없는 마르코프 잠재 게임(Markov Potential Games, MPGs)에서 독립적 자연 정책 기울기(INPG)가 내시 균형에 수렴함을 증명한다. 핵심 통찰은 INPG가 MPG에 의해 유도된 잠재 함수 Φ에 대한 자연 기울기 상승과 동일시된다는 것이다. 이는 단조 증가 성질을 보장하고 전역 수렴을 가능하게 하여 균형 정책로의 수렴을 보장한다.

ABSTRACT

Multi-agent reinforcement learning has been successfully applied to fully-cooperative and fully-competitive environments, but little is currently known about mixed cooperative/competitive environments. In this paper, we focus on a particular class of multi-agent mixed cooperative/competitive stochastic games called Markov Potential Games (MPGs), which include cooperative games as a special case. Recent results have shown that independent policy gradient converges in MPGs but it was not known whether Independent Natural Policy Gradient converges in MPGs as well. We prove that Independent Natural Policy Gradient always converges in the last iterate using constant learning rates. The proof deviates from the existing approaches and the main challenge lies in the fact that Markov Potential Games do not have unique optimal values (as single-agent settings exhibit) so different initializations can lead to different limit point values. We complement our theoretical results with experiments that indicate that Natural Policy Gradient outperforms Policy Gradient in routing games and congestion games.

연구 동기 및 목표

• 독립적 자연 정책 기울기(INPG)의 수렴성을 확립하기 위해, 협동 및 경쟁 설정을 일반화한 다중 에이전트 게임인 마르코프 잠재 게임(MPG)을 대상으로 한다.
• 단일 에이전트 설정에서 표준 정책 기울기보다 우수한 성능를 보이는 INPG가 MPG에서 수렴하는지 여부에 대한 열린 질문을 다룬다.
• MPG에서 유일한 최적 값이 없음에도 불구하고 INPG의 마지막 반복 수렴에 대한 이론적 보장을 제공한다.
• 이론적 분석을 실험으로 보완하여, 라우팅 게임과 혼잡도 게임에서 INPG가 독립 정책 기울기(IPG)보다 더 빠른 수렴을 보임을 시연한다.

제안 방법

• MPG에 의해 유도된 잠재 함수 Φ에 대한 자연 기울기 상승과 INPG가 동일시됨을 증명한다.
• MPG의 잠재 함수 Φ의 기울기의 국소 리프시츠 연속성과 피셔 정보 행렬에 의해 유도된 마할라노비스 노름을 활용하여, INPG 업데이트 하에서 Φ가 감소하지 않음을 확보한다.
• 소프트맥스 매개변수화의 구조와 다중 가중치 업데이트(Multiplicative Weights Update)와의 연결성을 활용하여, INPG의 극한 점이 내시 균형임을 보인다.
• MPG에서 잠재 함수를 최대화하면 순수 내시 균형이 도출되므로, 이는 균형 정책로의 수렴을 가능하게 한다.
• 고정 학습률을 적용하고, 충분히 작은 스텝 사이즈 η에 대해 점근적 수렴을 증명한다.
• 다양한 수의 에이전트를 가진 확률적 혼잡도 게임과 라우팅 게임에서 이론적 결과를 실험적으로 검증한다.

실험 결과

연구 질문

• RQ1 고정 학습률을 사용할 때, 독립적 자연 정책 기울기(INPG)는 마르코프 잠재 게임(MPG)에서 내시 균형에 수렴하는가?
• RQ2 MPG에서 유일한 최적 값이 없음이, 단일 에이전트 설정과 비교해 INPG의 수렴 행동에 어떤 영향을 미치는가?
• RQ3 MPG의 맥락에서 INPG와 잠재 함수에 대한 자연 기울기 상승 간의 등가성은 공식적으로 증명될 수 있는가?
• RQ4 다중 에이전트 혼합 협동-경쟁 환경에서 INPG와 독립 정책 기울기(IPG) 간의 경험적 성능 격차는 무엇인가?
• RQ5 IPG가 합리적인 반복 횟수 내에 수렴하지 못하는 영역을 초월해도, INPG는 수렴 속도를 유지할 수 있는가?

주요 결과

• 고정 학습률 하에서, 서로 다른 초기화로 인해 다른 극한 값에 도달하더라도, INPG는 마르코프 잠재 게임(MPG)에서 점근적으로 내시 균형 정책으로 수렴한다.
• 충분히 작은 학습률을 사용할 경우 수렴이 보장되며, 더 큰 스텝 사이즈는 다중 가중치 업데이트와 유사한 알고리즘에서 관찰된 혼란스러운 행동을 유도할 수 있다.
• INPG는 수렴 속도에서 IPG를 능가한다: 4명의 에이전트가 있는 혼잡도 게임에서 INPG는 약 50회 반복 내에 수렴한 반면, IPG는 약 2000회가 소요되었다.
• 8명의 에이전트에 대해선 INPG가 100회 이내에 수렴한 반면, IPG는 3000회 이내에 수렴하지 못해 상당한 확장성 우위를 보였다.
• 실험 결과는 단일 에이전트 강화학습에서 관찰된 PG와 NPG 간의 성능 격차가, 특히 평탄한 손실 영역에서 다중 에이전트 환경으로까지 확장됨을 확인한다.
• 이론적 프레임워크는 INPG가 잠재 함수에 대한 자연 기울기 상승과 동일시됨을 입증하여, Φ의 단조 증가 보장과 균형 정책로의 수렴 가능성을 보장한다.