[논문 리뷰] An Improved Convergence Analysis of Stochastic Variance-Reduced Policy Gradient

Pan Xu, Felicia Gao외 1명|arXiv (Cornell University)|2019. 05. 29.

Reinforcement Learning in Robotics참고 문헌 25인용 수 33

한 줄 요약

본 논문은 SVRPG의 수렴 분석을 더 엄밀하게 제시하여, O(1/ε^{5/3}) 트레이젝토리에서 ε-근사 정지점을 달성함을 보이고, O(1/ε^2) 대비 개선한다.

ABSTRACT

We revisit the stochastic variance-reduced policy gradient (SVRPG) method proposed by Papini et al. (2018) for reinforcement learning. We provide an improved convergence analysis of SVRPG and show that it can find an $\\epsilon$-approximate stationary point of the performance function within $O(1/\\epsilon^{5/3})$ trajectories. This sample complexity improves upon the best known result $O(1/\\epsilon^2)$ by a factor of $O(1/\\epsilon^{1/3})$. At the core of our analysis is (i) a tighter upper bound for the variance of importance sampling weights, where we prove that the variance can be controlled by the parameter distance between different policies; and (ii) a fine-grained analysis of the epoch length and batch size parameters such that we can significantly reduce the number of trajectories required in each iteration of SVRPG. We also empirically demonstrate the effectiveness of our theoretical claims of batch sizes on reinforcement learning benchmark tasks.

연구 동기 및 목표

• 강화학에서 확률적 분산 감소 정책 기울기(SVRG) 분석 및 평가를 제시한다.
• SVRPG에 대한 더 촘촘한 수렴 경계를 제시한다.
• 정책 간 거리로 중요 샘플링 가중치의 분산을 제어하는 방법과 에폭/배치 선택이 샘플 복잡도에 미치는 영향을 보여준다.
• 표준 RL 벤치마크(Cartpole, Mountain Car)에서 실험적 효과를 입증한다.

제안 방법

• SVRG와 정책 기울기 추정기(REINFORCE/GPOMDP)를 결합한 SVRPG 프레임워크를 재조명한다.
• 비정상적 궤적 분포에서의 중요 샘플링 가중치 분산에 대한 더 촘촘한 경계를 도출한다.
• 에폭 길이와 배치 크기를 정제하여 한 바퀴당 트레이젝토리 수를 줄인다.
• SVRPG가 E[||∇J(θ_out)||^2] ≤ ε를 O(1/ε^{5/3}) 트레이젝토리로 달성함을 보인다.
• 총 샘플 복잡도와 관련된 스텝 크기, 배치 크기, 에폭 길이의 관계에 대한 보조 결론을 제공한다.
• Cartpole와 Mountain Car 벤치마크에서 배치 크기 선택의 경험적 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 SVRPG가 샘플 복잡도 면에서 일반적인 확률적 정책 기울기 방법보다 이론적으로 더 빠를 수 있는가?
• RQ2 비정상 샘플링에서의 중요 가중치에 대한 촘촘한 분산 경계는 무엇인가?
• RQ3 converge를 유지하면서 트레이젝토리 요구를 최소화하도록 에폭 길이와 배치 크기는 어떻게 선택해야 하는가?
• RQ4 이론적 개선이 표준 RL 작업에서 실질적 이익으로 이어지는가?

주요 결과

Methods	복잡도
SG	O(1/ε^2)
SVRPG (Papini et al., 2018)	O(1/ε^2)
SVRPG (This paper)	O(1/ε^{5/3})

• SVRPG는 O(1/ε^{5/3}) 트레이젝토리로 ε-근사 정지점을 찾을 수 있다.
• 이는 알려진 최적의 O(1/ε^{2}) 트레이젝토리 복잡도보다 O(1/ε^{1/3})의 계수로 개선된 것이다.
• 가중치 분산의 상한이 정책 간 파라미터 거리로 제어될 수 있음을 보이는 더 촘촘한 상한이 있다.
• 에폭-배치 스케줄링의 정교화로 한 이터레이션당 필요한 트레이젝토리 수를 줄이면서도 수렴 속도를 잃지 않는다.
• Cartpole와 Mountain Car에 대한 실험은 제안된 배치 크기 선택의 이론적 이점을 실증한다.