[논문 리뷰] On the convergence of policy gradient methods to Nash equilibria in general stochastic games

Angeliki Giannou, Kyriakos Lotidis외 2명|arXiv (Cornell University)|2022. 10. 17.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 일반적인 스토케스틱 게임에서 정책 그래เดียน트 방법의 나시 균형에 수렴함을 보이며, 균형 정책에 대한 이차 정상성(SOS) 조건을 도입한다. Reinforce 알고리즘으로부터의 그래디언트 추정치를 사용할 경우, 제곱 거리 수렴 속도가 O(1/√n)로 국소 수렴을 증명하고, 정책 업데이트에 맞춤형 투영 단계가 포함될 경우 유한 시간 내에 결정론적 나시 균형에 수렴함을 보인다.

ABSTRACT

Learning in stochastic games is a notoriously difficult problem because, in addition to each other's strategic decisions, the players must also contend with the fact that the game itself evolves over time, possibly in a very complicated manner. Because of this, the convergence properties of popular learning algorithms - like policy gradient and its variants - are poorly understood, except in specific classes of games (such as potential or two-player, zero-sum games). In view of this, we examine the long-run behavior of policy gradient methods with respect to Nash equilibrium policies that are second-order stationary (SOS) in a sense similar to the type of sufficiency conditions used in optimization. Our first result is that SOS policies are locally attracting with high probability, and we show that policy gradient trajectories with gradient estimates provided by the REINFORCE algorithm achieve an $\mathcal{O}(1/\sqrt{n})$ distance-squared convergence rate if the method's step-size is chosen appropriately. Subsequently, specializing to the class of deterministic Nash policies, we show that this rate can be improved dramatically and, in fact, policy gradient methods converge within a finite number of iterations in that case.

연구 동기 및 목표

• 게임 역학이 시간에 따라 변화하고 균형을 계산하기 어려운 일반적인 스토케스틱 게임에서 정책 그래디언트 방법의 장기적 수렴 행동을 이해하는 것.
• 부분 정보와 노이즈가 있는 그래디언트 추정치 하에서 나시 균형 정책으로의 수렴을 분석하는 것, 특히 비ergodic이고 에피소드 기반 설정에서의 수렴을 다루는 것.
• 정책 그래디언트 궤적들이 고도로 높은 확률로 국소적으로 나시 균형에 수렴하는 데 필요한 충분조건을 규명하는 것.
• 이차 정상성과 결정론적 나시 정책의 구조적 특성을 활용하여 수렴 속도를 향상시키는 것.

제안 방법

• Reinforce 알고리즘의 에피소드 기반 추정치를 포함한 다양한 그래디언트 추정 기법과 정책 그래디언트 업데이트를 통합하는 유연한 알고리즘 프레임워크를 도입한다.
• 최적화에서 유사한 헤시안 기반 충분조건을 만족하는 정책을 이차 정상성(SOS) 정책으로 정의하며, 국소 안정성을 보장한다.
• 이론적 분석을 위해 적분형 나머지가 포함된 테일러 전개를 사용하여 SOS 균형 근처에서 정책 그래디언트의 내림행동을 분석하고, 수렴 속도를 유도한다.
• 그래디언트 지배성과 볼록성의 논리를 적용하여 현재 정책과 균형 정책 사이의 거리를 그래디언트 노름의 함수로 경계한다.
• 노이즈와 불확실성에도 불구하고 결정론적 나시 균형에 유한 시간 내에 수렴하도록 보장하기 위해 정책 업데이트에 수정된 투영 단계를 도입한다.
• 시간 평균화나 최적의 반복 보장 없이, 실제 에피소드별로 진행되는 플레이 궤적을 분석한다.

실험 결과

연구 질문

• RQ1 일반적인 스토케스틱 게임에서 정책 그래디언트 방법이 나시 균형에 수렴하는 조건은 무엇인가?
• RQ2 노이즈가 있는, 에피소드 기반 그래디언트 추정치를 사용할 경우 정책 그래디언트 방법의 수렴을 보장할 수 있는가?
• RQ3 균형 정책이 이차 정상성 조건을 만족할 경우 도달할 수 있는 수렴 속도는 무엇인가?
• RQ4 결정론적 나시 균형에 대해 정책 그래디언트 업데이트에서 유한 시간 수렴을 달성할 수 있는가?
• RQ5 정책 공간의 구조와 헤시안 행동이 수렴 안정성에 어떻게 영향을 미치는가?

주요 결과

• Reinforce 기반 그래디언트 추정치를 사용하는 정책 그래디언트 궤적은 적절한 스텝 사이즈 선택 조건 하에 O(1/√n) 제곱 거리 수렴 속도로 이차 정상성(SOS) 나시 균형에 수렴한다.
• SOS 정책의 특수한 경우인 결정론적 나시 정책의 경우, 정책 업데이트에 수정된 투영 단계를 도입함으로써 유한 시간 내 수렴이 가능하다.
• 헤시안 기반 안정성 분석과 볼록 이웃 논리에 의해, SOS 정책는 고도로 높은 확률로 국소적으로 끌려오는 것으로 나타났다.
• 적분형 나머지 테일러 전개와 탄성 원추 내에서 헤시안의 음의 정부호성에 대한 경계를 통해 O(1/√n) 수렴 속도가 확립된다.
• 분석 결과, 정책 그래디언트 방법이 비균형 영역을 벗어나 노이즈가 있는 에피소드 기반 그래디언트 추정치 하에서도 안정된 균형에 수렴할 수 있음을 확인하였다.
• 결과는 에르고딕성이나 무한 수렴 시간 설정에 제한되지 않은 일반적인 스토케스틱 게임, 특히 랜덤 정지 시간을 가진 게임에도 적용 가능하다.