[논문 리뷰] Policy Optimization Provably Converges to Nash Equilibria in Zero-Sum Linear Quadratic Games

Kaiqing Zhang, Zhuoran Yang외 1명|arXiv (Cornell University)|2019. 05. 31.

Reinforcement Learning in Robotics참고 문헌 59인용 수 28

한 줄 요약

이 논문은 0-합 선형 제곱(LQ) 게임에서 정책 최적화를 위한 투영된 내재형 기울기 방법을 제안하며, 비볼록-비강하성 경관에도 불구하고 나시 균형에 대한 전역 수렴을 증명한다. 전역적으로 하위선형 및 국소적으로 선형 수렴 속도를 확립하여, 이 클래스의 마코프 게임에서 정책 최적화의 첫 번째 증명 가능 수렴을 나타낸다.

ABSTRACT

We study the global convergence of policy optimization for finding the Nash equilibria (NE) in zero-sum linear quadratic (LQ) games. To this end, we first investigate the landscape of LQ games, viewing it as a nonconvex-nonconcave saddle-point problem in the policy space. Specifically, we show that despite its nonconvexity and nonconcavity, zero-sum LQ games have the property that the stationary point of the objective function with respect to the linear feedback control policies constitutes the NE of the game. Building upon this, we develop three projected nested-gradient methods that are guaranteed to converge to the NE of the game. Moreover, we show that all of these algorithms enjoy both globally sublinear and locally linear convergence rates. Simulation results are also provided to illustrate the satisfactory convergence properties of the algorithms. To the best of our knowledge, this work appears to be the first one to investigate the optimization landscape of LQ games, and provably show the convergence of policy optimization methods to the Nash equilibria. Our work serves as an initial step toward understanding the theoretical aspects of policy-based reinforcement learning algorithms for zero-sum Markov games in general.

연구 동기 및 목표

• 다중 에이전트 강화 학습에서 정책 최적화의 경험적 성공과 수렴 보장 사이의 이론적 격차를 메우기 위해.
• 0-합 LQ 게임의 최적화 경관을 분석하여, 비볼록성과 비강하성에도 불구하고 정책 공간의 정류점이 나시 균형과 대응됨을 보여주기 위해.
• 약한 가정 하에 나시 균형에 증명 가능하게 수렴하는 기울기 기반 알고리즘을 개발하고 분석하기 위해.
• 이 비볼록-비강하성 환경에서 정책 최적화의 전역 하위선형 및 국소 선형 수렴 속도를 확립하기 위해.
• LQ 게임의 시각에서, 적대적 연속 제어 환경에서 정책 기반 강화 학습의 기초 이론을 제공하기 위해.

제안 방법

• 정책 업데이트를 외부 루프와 내부 루프로 분리하여 반복 과정 전반에 걸쳐 안정화된 제어 정책을 보장하는 세 가지 투영된 내재형 기울기 방법을 제안한다.
• 투영 연산자를 사용하여 안정화된 제어 정책을 유지하고 정책 공간 내의 타당성을 강제한다.
• 게임을 정책 파rameter 공간에서의 비볼록-비강하성 사다리꼴 문제로 모델링하며, 정류점이 나시 균형과 대응됨을 보여준다.
• 헤시안과 기울기 매핑의 성질을 활용하여 전역 하위선형 및 국소 선형 수렴 속도의 조합을 통해 수렴을 확립한다.
• 다중 에이전트 학습에서의 비정적성 문제를 완화하기 위해 내부 루프를 사용하여 한 에이전트의 정책이 주어졌을 때 다른 에이전트의 최적 정책을 해결한다.
• 수정된 비용 함수와 릭카티 유사 행렬 $\widetilde{Q}_L = Q - L^\top R^v L$의 고유값 분석을 도입하여 안정성과 수렴성을 특성화한다.

실험 결과

연구 질문

• RQ1 비볼록-비강하성 문제임에도 불구하고 0-합 LQ 게임에서 정책 최적화 방법이 나시 균형에 증명 가능하게 수렴할 수 있는가?
• RQ2 LQ 게임에서 정책 공간 목표 함수의 정류점이 나시 균형과 대응되는가?
• RQ3 투영된 내재형 기울기 방법이 이 설정에서 전역 수렴을 하위선형 및 국소 선형 수렴 속도로 보장할 수 있는가?
• RQ4 투영 연산자는 정책 업데이트의 안정화와 수렴 가능성을 위해 어떤 역할을 하는가?
• RQ5 만약 $\widetilde{Q}_L$의 최소 고유값에 대한 핵심 가정이 완화될 경우, 정책 최적화 방법의 수렴 성질은 어떻게 변화하는가?

주요 결과

• 비볼록성과 비강하성에도 불구하고 0-합 LQ 게임에서 정책 공간 목표 함수의 정류점은 정확히 나시 균형과 일치한다.
• 투영된 내재형 기울기 방법은 부드러움과 표준 볼록-강하성의 가정 없이도 전역적으로 하위선형 수렴 속도와 국소적으로 선형 수렴 속도로 수렴한다.
• 시뮬레이션 결과는 $\lambda_{\min}(\widetilde{Q}_L) > 0$ 인 케이스 1에서 비용 개선이 단조롭고 기울기 매핑 노름 제곱이 수렴함을 보여주며, 이는 이론적 수렴 속도를 확인한다.
• 케이스 2에서는 $\lambda_{\min}(\widetilde{Q}_L) < 0$ 이지만 여전히 수렴이 이루어지며, 비용 감소가 단조롭지 않음에도 불구하고, 이는 가정 완화에 대한 강건성을 보여준다.
• 투영 연산자는 이론적으로 필수적이지만 실제 적용에선 거의 활성화되지 않아, 유사한 보장을 갖는 투영 없음 알고리즘의 향후 개발 가능성을 시사한다.
• 기울기 하강-상승 및 교차 기울기 변형도 정확히 동일한 수렴 성질을 보이며, 내부 루프 정확한 수렴이 없더라도 나시 균형에 수렴함을 보여주어 실용적 강건성을 입증한다.