[논문 리뷰] Policy-Gradient Algorithms Have No Guarantees of Convergence in Linear Quadratic Games

Eric Mazumdar, Lillian J. Ratliff외 2명|arXiv (Cornell University)|2019. 07. 08.

Reinforcement Learning in Robotics참고 문헌 27인용 수 9

한 줄 요약

이 논문은 일반합선형제곱(LQ) 게임에서 정책기반 알고리즘이 일반적으로 나시 균형으로의 국소 수렴 보장을 갖지 못함을 보여주며, 플레이어가 안정적인 한계 주기로 수렴하는 반례를 통해 이를 입증한다. 게임은 비볼록이며 기울기 동역학의 유일한 임계점은 전역 나시 균형이지만, 정책기반 동역학은 안정성의 안정점 불안정성으로 인해 균형을 피할 수 있으며, 이는 다중에이전트 강화학습의 확장성에 있어 근본적인 제약을 드러낸다.

ABSTRACT

We show by counterexample that policy-gradient algorithms have no guarantees of even local convergence to Nash equilibria in continuous action and state space multi-agent settings. To do so, we analyze gradient-play in N-player general-sum linear quadratic games, a classic game setting which is recently emerging as a benchmark in the field of multi-agent learning. In such games the state and action spaces are continuous and global Nash equilibria can be found be solving coupled Ricatti equations. Further, gradient-play in LQ games is equivalent to multi agent policy-gradient. We first show that these games are surprisingly not convex games. Despite this, we are still able to show that the only critical points of the gradient dynamics are global Nash equilibria. We then give sufficient conditions under which policy-gradient will avoid the Nash equilibria, and generate a large number of general-sum linear quadratic games that satisfy these conditions. In such games we empirically observe the players converging to limit cycles for which the time average does not coincide with a Nash equilibrium. The existence of such games indicates that one of the most popular approaches to solving reinforcement learning problems in the classic reinforcement learning setting has no local guarantee of convergence in multi-agent settings. Further, the ease with which we can generate these counterexamples suggests that such situations are not mere edge cases and are in fact quite common.

연구 동기 및 목표

• 다중에이전트 연속 제어 설정에서 정책기반 알고리즘이 이론적으로 수렴 보장을 갖는지 조사하기.
• 다중에이전트 강화학습의 표준 기준인 N명의 플레이어가 참여하는 일반합선형제곱(LQ) 게임에서 기울기 플레이 동역학을 분석하기.
• 전역 나시 균형이 유일한 임계점임에도 불구하고 정책기반 동역학 하에서 나시 균형이 안정적인 흡인점인지 여부를 규명하기.
• 정책기반 동역학이 나시 균형을 피하고 한계 주기로 수렴하는 명시적 반례를 구성하기.
• 실제 다중에이전트 강화학습 환경에서 이러한 수렴하지 않는 행동의 빈도와 영향을 평가하기.

제안 방법

• 저자는 N명의 플레이어가 참여하는 일반합선형제곱(LQ) 게임을 분석하며, 각 에이전트는 선형 동적 시스템을 제어하고 제곱형 비용을 갖는다. 전역 나시 균형은 결합된 리카티 방정식을 풀어 구한다.
• 그들은 LQ 게임에서 정책기반 기울기 동역학이 기울기 플레이와 동일하며, 이 동역학의 유일한 임계점은 전역 나시 균형임을 보여준다.
• 안정 다각형 정리(stable manifold theorem)를 사용하여 나시 균형이 기울기 동역학의 안장점임을 증명하고, 이로 인해 정책기반 업데이트 하에서 불안정한 흡인점이 됨을 밝힌다.
• 안장점의 불안정 다각형 구조에 기반해 정책기반 궤적들이 나시 균형을 피할 수 있는 충분조건을 유도한다.
• 이 조건을 만족하는 명시적 LQ 게임 사례를 구성하고, 실험적으로 균형이 아닌 한계 주기로 수렴하는 것을 입증한다.
• 벡터화와 은둔함수정리(implicit function theorem)를 사용하여 핵심 시스템 행렬(Σ_K 및 P_i)이 정책 파라미터에 대해 C¹임을 증명함으로써 기울기 동역학의 스무스함을 보장한다.

실험 결과

연구 질문

• RQ1 일반합선형제곱(LQ) 게임에서 정책기반 알고리즘이 나시 균형으로의 국소 수렴 보장을 갖는가?
• RQ2 LQ 게임에서 정책기반 동역학 하에서 나시 균형이 안정적인 흡인점인가?
• RQ3 연속 행동, 연속 상태 다중에이전트 환경에서 정책기반 동역학이 나시 균형을 피하고 한계 주기로 수렴할 수 있는가?
• RQ4 이러한 수렴하지 않는 행동은 LQ 게임에서 얼마나 흔한가, 그리고 어떤 조건에서 발생하는가?
• RQ5 한계 주기 전략의 시간 평균이 나시 균형과 일치하지 않는 이유에 대한 이론적 설명은 무엇인가?

주요 결과

• 일반합선형제곱(LQ) 게임에서 정책기반 동역학은 나시 균형을 완전히 피할 수 있으며, 이는 기울기 동역학의 유일한 임계점임에도 불구하고 그렇다.
• 저자는 안장점 불안정성으로 인해 정책기반 알고리즘이 거의 확실히 나시 균형으로 수렴하지 못하는 LQ 게임의 명시적 반례를 구성한다.
• 이러한 반례에서 플레이어들은 경험적으로 안정적인 한계 주기로 수렴하며, 전략의 시간 평균은 나시 균형과 일치하지 않는다.
• 나시 균형은 기울기 동역학의 안장점이며 안정적인 흡인점이 아니므로, 정책기반 동역학이 이를 회피할 수 있음을 설명한다.
• 불안정 다각형의 측도가 양수이기 때문에, 무작위 초기화 하에서 균형 수렴은 불가능에 가까워진다.
• 결과적으로 다중에이전트 설정에서 정책기반 방법은 자주 균형으로 수렴하지 못할 수 있으며, 이는 실증적 성공에도 불구하고 이론적 신뢰성에 도전한다.