[논문 리뷰] Independent Policy Gradient Methods for Competitive Reinforcement Learning

Constantinos Daskalakis, Dylan J. Foster외 1명|arXiv (Cornell University)|2021. 01. 11.

Advanced Bandit Algorithms Research인용 수 22

한 줄 요약

이 논문은 경쟁적 이중자 강화학습에서 독립적 정책 기울기 방법에 대해 최초로 유한 표본, 비점점수 수렴 보장을 확립한다. 두 에이전트가 제로섬 스토케스틱 게임에서 두 배속도 학습률 규칙을 사용해 정책 기울기 업데이트를 수행할 때, 그들의 정책이 최소-최대(나시) 균형으로 수렴함을 증명하며, 다중 에이전트 강화학습 이론 분야의 핵심 열린 문제를 해결한다.

ABSTRACT

We obtain global, non-asymptotic convergence guarantees for independent learning algorithms in competitive reinforcement learning settings with two agents (i.e., zero-sum stochastic games). We consider an episodic setting where in each episode, each player independently selects a policy and observes only their own actions and rewards, along with the state. We show that if both players run policy gradient methods in tandem, their policies will converge to a min-max equilibrium of the game, as long as their learning rates follow a two-timescale rule (which is necessary). To the best of our knowledge, this constitutes the first finite-sample convergence result for independent policy gradient methods in competitive RL; prior work has largely focused on centralized, coordinated procedures for equilibrium computation.

연구 동기 및 목표

• 경쟁적 다중 에이전트 강화학습에서 독립적 정책 기울기 방법에 대한 이론적 수렴 보장의 부족을 해결하기 위해.
• 독립 알고리즘의 실용적 성공과 그들의 이론적 불안정성 사이의 격차, 특히 비협력적 환경에서의 불안정성 문제를 해소하기 위해.
• 에이전트가 국소 정보만 관측하는 현실적인 탈중앙화 학습 가정 하에서 나시 균형으로의 증명 가능한 수렴을 확립하기 위해.
• 중앙집중식 또는 조정된 알고리즘을 넘어서 탈중앙화된, 독립적 학습에 대한 정책 기울기 방법의 수렴 이론을 확장하기 위해.

제안 방법

• 이산 상태 및 행동 공간을 갖는 이중자 제로섬 스토케스틱 게임을 에피소드 기반 독립 학습 프레임워크 하에서 분석한다.
• 에이전트가 상대방의 행동를 관측하지 못하고 자신의 행동, 보상, 그리고 전역 상태만 관측한다고 가정한다.
• 두 배속도 학습률 규칙을 적용한 정책 기울기 업데이트를 수행하며, 한 에이전트가 다른 에이전트보다 느리게 업데이트된다.
• 비볼록 최소-최대 문제에서 나시 균형으로의 수렴을 증명하기 위해 이중측 기울기 지배성 성질을 사용한다.
• 균형 조건을 특성화하고 수렴을 검증하기 위해 변분부등식(MVI) 프레임워크를 활용한다.
• 이론적 결과를 검증하기 위해 알려진 균형이 존재하는 합성 게임을 사용한 경험적 예제를 제공한다.

실험 결과

연구 질문

• RQ1 중앙집중적 조정 없이도 독립적 정책 기울기 방법이 경쟁적 다중 에이전트 강화학습에서 나시 균형으로 수렴할 수 있는가?
• RQ2 어떤 학습률 스케줄링이 제로섬 스토케스틱 게임에서 독립적 정책 기울기 방법의 유한 표본 수렴을 가능하게 하는가?
• RQ3 표준 독립 학습 알고리즘이 자주 수렴하지 못하는 이유는 무엇이며, 어떤 구조적 조건이 수렴을 안정화하는가?
• RQ4 왜 두 배속도 규칙이 단일 속도 방법이 실패하는 상황에서 수렴을 가능하게 하는가?
• RQ5 이 수렴 결과는 단순 행렬 게임을 넘어서 더 넓은 비볼록 최소-최대 문제 클래스로 일반화될 수 있는가?

주요 결과

• 두 배속도 학습률 규칙을 사용하는 독립적 정책 기울기 방법은 이중자 제로섬 스토케스틱 게임에서 전역적으로 최소-최대(나시) 균형으로 수렴한다.
• 수렴은 유한 표본이며 점점수적이며, 경쟁적 강화학습에서 독립적 정책 기울기 방법에 대해 최초로 이러한 보장을 제공한다.
• 두 배속도 규칙은 수렴을 위해 필수적이다. 단일 속도 업데이트는 분포 이동과 비볼록성으로 인해 수렴하지 못할 수 있다.
• 이론적 프레임워크는 이중측 기울기 지배성 성질을 만족하는 비볼록 최소-최대 문제의 클래스에 적용 가능하며, 표준 볼록-볼록 설정을 초월한다.
• 경험적 검증을 통해 ε=0.1 및 s=0.3 인 합성 게임에서 알려진 균형으로의 수렴을 확인하였다.
• 테스트 게임에서 값이 0인 유일한 전역 나시 균형을 성공적으로 식별하였다.