[논문 리뷰] Variance-Reduced Off-Policy Memory-Efficient Policy Search

Daoming Lyu, Qi Qi외 4명|arXiv (Cornell University)|2020. 09. 14.

Reinforcement Learning in Robotics참고 문헌 43인용 수 4

한 줄 요약

이 논문은 스토하스틱 리커르시브 모멘타임(스톰)과 에프매틱 웨이팅 액터-크리틱 프레임워크(ACE/지오프패크)를 결합한, 처음으로 분산 감소, 오프-폴리시, 메모리 효율적인 정책 그래디언트 알고리즘인 VOMPS와 ACE-STORM을 제안한다. 큰 참조 샘플 세트가 필요로 하지 않고 안정적인 오프-폴리시 학습을 가능하게 함으로써, 이전의 온-폴리시 또는 메모리 집약적인 접근 방식보다 더 빠른 수렴 속도와 낮은 분산을 달성한다. 실험 결과는 뛰어난 샘플 효율성과 동작 노이즈에 대한 강건성을 보여준다.

ABSTRACT

Off-policy policy optimization is a challenging problem in reinforcement learning (RL). The algorithms designed for this problem often suffer from high variance in their estimators, which results in poor sample efficiency, and have issues with convergence. A few variance-reduced on-policy policy gradient algorithms have been recently proposed that use methods from stochastic optimization to reduce the variance of the gradient estimate in the REINFORCE algorithm. However, these algorithms are not designed for the off-policy setting and are memory-inefficient, since they need to collect and store a large ``reference'' batch of samples from time to time. To achieve variance-reduced off-policy-stable policy optimization, we propose an algorithm family that is memory-efficient, stochastically variance-reduced, and capable of learning from off-policy samples. Empirical studies validate the effectiveness of the proposed approaches.

연구 동기 및 목표

• 오프-폴리시 정책 최적화에서 높은 분산과 메모리 비효율성이라는 이중 과제를 해결한다.
• 큰 참조 배치를 저장하지 않고도 안정적이고 분산 감소된 오프-폴리시 데이터로부터의 정책 학습을 가능하게 한다.
• 초기의 오프-폴리시 분산 감소 정책 그래디언트 방법 중에서 수렴성과 메모리 효율성을 동시에 확보한 첫 번째 방법을 개발한다.
• STORM의 리커르시브 모멘타임 메커니즘을 오프-폴리시 액터-크리틱 프레임워크(ACE/지오프패크)와 통합하여 안정적이고 낮은 분산의 업데이트를 달성한다.
• 기존의 오래된 데이터를 재처리하지 않고도 현재의 스토하스틱 그래디언트와 과거 반복의 모멘타임을 조합한 리커르시브 그래디언트 업데이트를 적용함으로써 분산 감소를 실현한다.
• 중요도 샘플링과 오프-폴리시 보정을 그래디언트 추정에 적용하여 행동 정책 데이터로부터 학습할 때 안정성을 유지한다.

제안 방법

• 고정된 參照 배치를 피하기 위해 리커르시브 모멘타임을 사용하는 스토하스틱 분산 감소 기법인 STORM을 활용하여, 큰 샘플 세트를 저장하지 않고도 그래디언트 분산을 감소시킨다.
• ACE 및 지오프패크 오프-폴리시 액터-크리틱 프레임워크와 STORM을 통합하여 오프-폴리시 학습의 안정성을 확보한다.
• 행동 정책와 타겟 정책 간의 분포 이탈을 보정하기 위해 ACE 및 지오프패크에서 에프매틱 웨이팅을 사용함으로써 오프-폴리시 수렴성을 향상시킨다.
• 참조 샘플 저장을 피하는 분산 감소 오프-폴리시 정책 그래디언트 방법인 VOMPS와 분산 감소 액터-크리틱 변종인 ACE-STORM을 각각 설계한다.
• 현재의 스토하스틱 그래디언트와 과거 반복의 모멘타임을 조합한 리커르시브 그래디언트 업데이트를 적용하여, 오래된 데이터를 재처리하지 않고도 분산 감소를 달성한다.
• 중요도 샘플링과 오프-폴리시 보정을 그래디언트 추정에 적용하여 행동 정책 데이터로부터 학습할 때 안정성을 유지한다.

실험 결과

연구 질문

• RQ1 큰 참조 샘플 세트가 필요 없이 스토하스틱 분산 감소 기법이 오프-폴리시 정책 학습에 효과적으로 적용될 수 있는가?
• RQ2 STORM의 리커르시브 모멘타임 메커니즘이 오프-폴리시 액터-크리틱 프레임워크와 통합되어 분산 감소와 메모리 효율성을 동시에 달성할 수 있는가?
• RQ3 기존의 온-폴리시 분산 감소 방법과 오프-폴리시 기준선 대비 샘플 효율성과 안정성에서 제안된 방법은 어떻게 비교되는가?
• RQ4 제안된 알고리즘이 오프-폴리시 환경에서 동작 노이즈와 분포 이탈 상황에서도 강건성을 유지하는가?
• RQ5 STORM과 에프매틱 웨이팅의 조합이 연속 제어 과제에서 안정적이고 수렴성 있으며 낮은 분산의 정책 최적화를 가능하게 하는가?

주요 결과

• VOMPS와 ACE-STORM는 약 200K개의 샘플로 CartPoleContinuous-v0에서 near-optimal 성능을 달성하며, 400K개 이상의 샘플이 필요한 SVRPG와 SRVR-PG를 능가한다.
• Hopper-v2와 HalfCheetah-v2에서 VOMPS와 ACE-STORM는 SVRPG, SRVR-PG, DDPG, TD3보다 더 빠르게 수렴하고 더 높은 몬테카를로 수익을 달성하며, 분산이 크게 낮다.
• VOMPS와 ACE-STORM의 학습 곡선은 GeoffPAC, DDPG, TD3보다 더 매끄럽고 안정적이며, 더 나은 수렴 성질을 나타낸다.
• 20%의 동작 노이즈 조건에서 VOMPS와 ACE-STORM는 다른 방법들이 크게 악화되는 상황에서도 안정적이고 효과적으로 유지되며, 뛰어난 강건성을 보였다.
• ACE-STORM과 VOMPS는 테스트된 모든 방법 중에서 가장 높은 노이즈 저항성을 보이며, 실세계의 외부 요동에서 스토하스틱 분산 감소의 효과성을 확인한다.
• 제안된 알고리즘은 오프-폴리시 안정성, 분산 감소, 메모리 효율성의 세 가지 요소를 동시에 달성한 최초의 방법으로, 샘플 효율성과 안정성 면에서 기존의 온-폴리시 분산 감소 방법을 능가한다.