[논문 리뷰] Provably Efficient Policy Gradient Methods for Two-Player Zero-Sum Markov Games.

Yulai Zhao, Yuandong Tian외 2명|arXiv (Cornell University)|2021. 02. 17.

Reinforcement Learning in Robotics참고 문헌 59인용 수 8

한 줄 요약

이 논문은 함수 근사와 함께 두 명의 플레이어가 참여하는 제로섬 마르코프 게임에 대해 처음으로 증명 가능하게 효율적인 정책 그래เดียน트 방법을 제안하며, 자연 정책 그래디언트 알고리즘을 확장한다. 이는 집중도 계수와 근사 오차에 의존하는 샘플 및 반복 횟수 복잡도 한계를 설정하여, 이 설정에서 이러한 방법에 대한 첫 번째 정량적 분석을 제공한다.

ABSTRACT

Policy gradient methods are widely used in solving two-player zero-sum games to achieve superhuman performance in practice. However, it remains elusive when they can provably find a near-optimal solution and how many samples and iterations are needed. The current paper studies natural extensions of Natural Policy Gradient algorithm for solving two-player zero-sum games where function approximation is used for generalization across states. We thoroughly characterize the algorithms' performance in terms of the number of samples, number of iterations, concentrability coefficients, and approximation error. To our knowledge, this is the first quantitative analysis of policy gradient methods with function approximation for two-player zero-sum Markov games.

연구 동기 및 목표

• 함수 근사가 있는 두 명의 플레이어가 참여하는 제로섬 마르코프 게임에서 정책 그래디언트 방법에 대한 이론적 보장을 부족하게 하는 문제를 해결하기 위해.
• 이 설정에서 정책 그래디언트 알고리즘의 샘플 및 반복 횟수 복잡도를 규명하기 위해.
• 집중도 계수와 근사 오차가 알고리즘 수렴에 미치는 영향을 정량화하기 위해.
• 경쟁적 강화 학습에서 정책 그래디언트 방법의 실용적 성공에 대한 엄밀한 이론적 기초를 제공하기 위해.

제안 방법

• 함수 근사를 고려한 두 명의 플레이어가 참여하는 제로섬 마르코프 게임에 자연 정책 그래디언트 알고리즘을 확장한다.
• 분포 이탈을 제한하기 위해 집중도 계수를 통합한 새로운 분석 프레임워크를 도입한다.
• 함수 근사를 사용하여 상태 간에 정책을 일반화함으로써 큰 상태 공간으로의 확장성을 달성한다.
• 정책 그래디언트 업데이트가 정책 다양체의 기하학성과 관련이 있음을 바탕으로 수렴 보장을 유도한다.
• 제로섬 게임의 최소최대 구조를 다루기 위해 이중 최적화 관점을 활용한다.
• 근사 오차와 알고리즘 수렴 속도 간의 상호작용을 분석한다.

실험 결과

연구 질문

• RQ1 함수 근사가 있는 정책 그래디언트 방법은 두 명의 플레이어가 참여하는 제로섬 마르코프 게임에서 증명 가능하게 근사 최적 해로 수렴할 수 있는가?
• RQ2 수렴하기 위해 필요한 샘플 수와 반복 횟수는 얼마이며, 이는 집중도 계수와 근사 오차에 어떻게 의존하는가?
• RQ3 집중도 계수는 이 설정에서 정책 그래디언트 방법의 샘플 효율성에 어떻게 영향을 미치는가?
• RQ4 함수 근사를 사용하는 정책 그래디언트 알고리즘에서 근사 오차와 수렴 속도 사이의 이론적 트레이드오프는 무엇인가?
• RQ5 함수 근사와 분포 이탈을 모두 고려한 수렴 속도의 공식적 특성은 존재하는가?

주요 결과

• 제안된 정책 그래디언트 방법은 함수 근사가 있는 두 명의 플레이어가 참여하는 제로섬 마르코프 게임에서 근사 최적 해로 증명 가능하게 수렴한다.
• 샘플 복잡도는 온-폴리시 분포와 행동 분포 간의 발산을 측정하는 집중도 계수에 비례한다.
• 반복 횟수 복잡도는 근사 오차와 정책 공간의 기하학성의 함수로 제한된다.
• 분석을 통해 근사 오차와 수렴 속도 사이의 공식적 트레이드오프를 확립하였으며, 더 작은 오차는 더 빠른 수렴을 이끈다는 것을 보여준다.
• 이 클래스의 게임에서 정책 그래디언트 방법에 대한 첫 번째 정량적 샘플 및 반복 횟수 복잡도 한계를 제공한다.
• 결과는 집중도와 부드러움에 대한 약한 가정 하에 자연 정책 그래디언트가 함수 근사와 함께 증명 가능하게 효율적임을 보여준다.