[논문 리뷰] Stochastic Variance-Reduced Policy Gradient

Matteo Papini, Damiano Binaghi외 3명|arXiv (Cornell University)|2018. 06. 14.

Reinforcement Learning in Robotics인용 수 16

한 줄 요약

이 논문은 비선형 목표 함수, 근사된 전체 기울기, 비정적 샘플링을 포함한 MDP에서의 비선형 목표 함수를 다루는 강화학습을 위한 확률적 분산 감소 정책 기울기 알고리즘인 SVRPG를 소개한다. 중요도 가중치를 활용해 기울기의 비편향성을 유지함으로써, 증가하는 배치 크기 하에서 선형 수렴을 달성하며, 연속 제어 과제에서 더 높은 샘플 효율성과 안정성을 보여준다.

ABSTRACT

In this paper, we propose a novel reinforcement- learning algorithm consisting in a stochastic variance-reduced version of policy gradient for solving Markov Decision Processes (MDPs). Stochastic variance-reduced gradient (SVRG) methods have proven to be very successful in supervised learning. However, their adaptation to policy gradient is not straightforward and needs to account for I) a non-concave objective func- tion; II) approximations in the full gradient com- putation; and III) a non-stationary sampling pro- cess. The result is SVRPG, a stochastic variance- reduced policy gradient algorithm that leverages on importance weights to preserve the unbiased- ness of the gradient estimate. Under standard as- sumptions on the MDP, we provide convergence guarantees for SVRPG with a convergence rate that is linear under increasing batch sizes. Finally, we suggest practical variants of SVRPG, and we empirically evaluate them on continuous MDPs.

연구 동기 및 목표

• 표준 SVRG 기법이 비선형 목표 함수와 비정적 데이터 분포로 인해 어려움을 겪는 강화학습에 적합한 분산 감소 정책 기울기 방법을 개발하는 것.
• SVRG를 정책 기울기로 적용할 때 발생하는 세 가지 핵심 과제인 비선형 목표 함수, 전체 기울기 계산에서의 근사, 비정적 샘플링 과정을 해결하는 것.
• 표준 MDP 가정 하에서, 중요도 가중치를 사용함에도 불구하고 기울기 추정의 비편향성을 유지하면서 수렴 보장을 확보하는 것.
• 증가하는 배치 크기 하에서 선형 수렴 속도를 이론적으로 보장함으로써, 표준 스토하스틱 정책 기울기 방법을 향상시키는 것.
• 연속 제어 벤치마크에서 방법을 실증적으로 검증하여, 기준 정책 기울기 접근법에 비해 향상된 샘플 효율성과 안정성을 보여주는 것.

제안 방법

• 스냅샷 업데이트를 위한 하나와 서브반복을 위한 하나의 서로 다른 ADAM 최적화기 사용을 통해 SVRG 프레임워크와 정책 기울기를 결합한 새로운 정책 기울기 알고리즘인 SVRPG를 제안한다.
• 현재 정책과 스냅샷 정책 간의 분포 이탈을 보정하기 위해 중요도 가중치를 사용하여 기울기 추정의 비편향성을 유지한다.
• 외부 루프는 스냅샷 정책에서 전체 기울기 추정을 수행하고, 내부 루프는 분산 감소를 위해 미니배치를 사용하여 다수의 스토하스틱 업데이트를 수행하는 이중 레벨 최적화 루프를 사용한다.
• 스냅샷 단계와 서브반복 단계에 대해 별도의 학습률과 적응형 모멘텀 기록을 사용하며, 스냅샷 ADAM은 더 큰 배치 크기(N)와 더 높은 학습률을 사용한다.
• Half Cheetah 과제에서 분산 감소를 위해 선형 기준(크리틱)을 사용하는 실용적 변형을 도입하며, 각 스냅샷에서 최소 제곱법을 통해 피팅한다.
• 기대 정책 기울기의 유한합 근사화를 적용하여 전체 기울기를 큰 배치의 트레이젝터리로 추정하고, 스토하스틱 기울기는 미니배치를 통해 계산한다.

실험 결과

연구 질문

• RQ1 비선형 목표 함수와 비정적 샘플링으로 인해 정책 기울기 강화학습에 SVRG와 같은 분산 감소 기법을 성공적으로 적용할 수 있는가?
• RQ2 중요도 가중치와 근사된 전체 기울기를 사용할 때 정책 기울기에서 비편향 기울기 추정을 어떻게 유지할 수 있는가?
• RQ3 표준 MDP 가정 하에서 분산 감소 정책 기울기 알고리즘의 이론적 수렴 속도는 무엇인가?
• RQ4 연속 제어 과제에서 SVRPG는 표준 정책 기울기 기준선에 비해 샘플 효율성과 안정성 면에서 어떻게 비교되는가?
• RQ5 실세계 강화학습 환경에서 최고의 성능을 내기 위한 메타파rameter와 적응형 최적화기의 실용적 구성은 무엇인가?

주요 결과

• 표준 MDP 가정 하에서 SVRPG는 배치 크기가 증가함에 따라 O(1/T)의 선형 수렴 속도를 달성한다.
• Half Cheetah, Swimmer, Cart-Pole와 같은 연속 제어 과제에서 표준 정책 기울기 기준선에 비해 뛰어난 샘플 효율성과 안정성을 보여준다.
• 실증 결과는 스냅샷과 서브반복 단계에 대해 별도의 ADAM 최적화기를 사용함으로써 훈련 안정성과 수렴 속도가 크게 향상됨을 보여준다.
• Half Cheetah에서 선형 기준을 포함함으로써 분산이 감소하고 학습 속도가 빨라지며, 크리틱은 스냅샷 지점에서만 업데이트된다.
• 중요도 가중치를 사용해 분포 이탈을 보정함으로써 다양한 환경에서 일관된 성능을 유지하며, 특히 초기 설정에 대한 히퍼파rameter 조정이 최소화된다.
• Mujoco 벤치마크에서 뛰어난 성능을 기록하며, 복잡한 고차원 상태-행동 공간에서 균형을 이루고 전진하는 것을 성공적으로 학습시켰다.