[논문 리뷰] A Theoretical Analysis of Optimistic Proximal Policy Optimization in Linear Markov Decision Processes

Han Zhong, Tong Zhang|arXiv (Cornell University)|2023. 05. 15.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 전체 정보 피드백을 갖는 선형 마르코프 결정 과정(MDPs)를 위한 최적의 근접 정책 최적화 알고리즘인 OPPO+를 제안한다. 새로운 다중 배치 업데이트 메커니즘과 평균 보상을 활용한 정책 평가 단계를 도입하여, 확률적 및 악성 선형 MDP 모두에서 $ widetilde{ mathcal{O}}(d^{3/4}H^{2}K^{3/4})$의 최신 기술 수준의 누적 손실 한계를 달성한다. 여기서 $d$는 임베딩 차원, $H$는 수평선, $K$는 에피소드 수이다.

ABSTRACT

The proximal policy optimization (PPO) algorithm stands as one of the most prosperous methods in the field of reinforcement learning (RL). Despite its success, the theoretical understanding of PPO remains deficient. Specifically, it is unclear whether PPO or its optimistic variants can effectively solve linear Markov decision processes (MDPs), which are arguably the simplest models in RL with function approximation. To bridge this gap, we propose an optimistic variant of PPO for episodic adversarial linear MDPs with full-information feedback, and establish a $ ilde{\mathcal{O}}(d^{3/4}H^2K^{3/4})$ regret for it. Here $d$ is the ambient dimension of linear MDPs, $H$ is the length of each episode, and $K$ is the number of episodes. Compared with existing policy-based algorithms, we achieve the state-of-the-art regret bound in both stochastic linear MDPs and adversarial linear MDPs with full information. Additionally, our algorithm design features a novel multi-batched updating mechanism and the theoretical analysis utilizes a new covering number argument of value and policy classes, which might be of independent interest.

연구 동기 및 목표

• 함수 근사가 있는 선형 MDP에 대한 근접 정책 최적화(PPO)의 이론적 이해 격차를 메우기 위해.
• 선형 혼합 MDP에서의 최적의 PPO 성공을 더 단순하지만 근본적인 선형 MDP 모델으로 확장하기 위해.
• 상태 공간 크기와 무관하게 하위선형 누적 손실을 달성하는 정책 기반 알고리즘을 개발하기 위해, 심지어 전체 정보 피드백이 있는 악성 설정에서도 가능하게 하기 위해.
• 선형 MDP에서 PPO의 이론적 분석에 적합한 새로운 알고리즘적 및 분석 기법을 도입하기 위해.

제안 방법

• 전체 정보 피드백이 있는 순환 악성 선형 MDP에 특화된 최적의 PPO 변형인 OPPO+를 제안한다.
• 정책 업데이트의 샘플 효율성과 안정성을 향상시키기 위해 다중 배치 업데이트 메커니즘을 도입한다.
• 이론적 분석에서 분산을 줄이고 수렴성을 향상시키기 위해 평균 보상을 정책 평가에 활용한다.
• 누적 손실 분석에서 일반화 오차를 제어하기 위해 가치 및 정책 클래스에 대한 새로운 커버링 수의 추론을 사용한다.
• 정책 평가 단계에서 오차 전파를 제어하기 위해 인접한 정책의 드리프트 분석을 적용한다.
• 추정 오차를 제어하기 위해 타원형 잠재력 보조정 정리와 농도 불등식을 활용한다.

실험 결과

연구 질문

• RQ1 최적의 PPO 변형이 악성 설정에서 함수 근사가 있는 선형 MDP를 증명 가능하게 해결할 수 있는가?
• RQ2 전체 정보 피드백 하에서 선형 MDP에서 정책 기반 알고리즘이 달성할 수 있는 최적의 누적 손실 한계는 무엇인가?
• RQ3 선형 MDP에서 PPO의 정책 평가 단계는 어떻게 안정화되고 이론적으로 분석될 수 있는가?
• RQ4 선형 MDP에서 최신 기술 수준의 누적 손실을 달성하기 위해 필요한 새로운 알고리즘 구성 요소는 무엇인가?
• RQ5 선형 MDP에서 더 날카운 누적 손실 한계를 지원하기 위해 가치 및 정책 클래스에 대한 커버링 수의 추론을 개발할 수 있는가?

주요 결과

• OPPO+는 전체 정보 피드백이 있는 악성 선형 MDP에서 $ widetilde{ mathcal{O}}(d^{3/4}H^{2}K^{3/4})$의 누적 손실 한계를 달성하며, 이는 이 설정에서 정책 기반 알고리즘으로서 가장 뛰어난 결과이다.
• 누적 손실 한계는 에피소드 수 $K$에 대해 하위선형이며, 임베딩 차원 $d$와 수평선 $H$에 대해 유리하게 스케일링되며, 고차원 선형 MDP에서의 효율성을 보여준다.
• 제안된 다중 배치 업데이트 메커니즘은 샘플 효율성을 향상시키고 이론적 분석에서 안정적인 정책 업데이트를 가능하게 한다.
• 가치 및 정책 클래스에 대한 새로운 커버링 수의 추론은 이 작업 외부에서도 독립적인 관심을 끌 수 있는 새로운 이론적 도구를 제공한다.
• 인접한 정책의 드리프트 분석은 평균 보상 기반 정책 평가 단계에서 오차 누적 현상을 성공적으로 제어한다.
• 표 1에서 이전 연구들과의 비교를 통해, OPPO+는 확률적 및 악성 선형 MDP 모두에서 기존 정책 기반 방법들을 능가하는 성능을 보였다.