[논문 리뷰] Understanding and Mitigating the Limitations of Prioritized Experience Replay

Yangchen Pan, Jincheng Mei외 5명|arXiv (Cornell University)|2020. 07. 19.

Age of Information Optimization인용 수 6

한 줄 요약

이 논문은 강화학습에서 우선순위 기반 경험 재생(PER)이 학습 효율성을 향상시키는 이유에 대한 이론적 통찰을 제공하며, 두 가지 핵심한 제약 조건인 오래된 우선순위와 낮은 샘플 공간 커버리지 문제를 규명한다. 이를 해결하기 위해 저자는 환경 모델을 기반으로 한 확률적 경사 하강 랭드비안 동역학(SGLD) 샘플링 방법을 제안하여 보다 대표적인 가상 경험을 생성함으로써 이산 및 연속 제어 작업, 특히 자율 주행 환경에서 샘플 효율성과 수렴 속도를 크게 향상시킨다.

ABSTRACT

Prioritized Experience Replay (ER) has been empirically shown to improve sample efficiency across many domains and attracted great attention; however, there is little theoretical understanding of why such prioritized sampling helps and its limitations. In this work, we take a deep look at the prioritized ER. In a supervised learning setting, we show the equivalence between the error-based prioritized sampling method for mean squared error and uniform sampling for cubic power loss. We then provide theoretical insight into why it improves convergence rate upon uniform sampling during early learning. Based on the insight, we further point out two limitations of the prioritized ER method: 1) outdated priorities and 2) insufficient coverage of the sample space. To mitigate the limitations, we propose our model-based stochastic gradient Langevin dynamics sampling method. We show that our method does provide states distributed close to an ideal prioritized sampling distribution estimated by the brute-force method, which does not suffer from the two limitations. We conduct experiments on both discrete and continuous control problems to show our approach's efficacy and examine the practical implication of our method in an autonomous driving application.

연구 동기 및 목표

• 우선순위 기반 경험 재생(PER)이 강화학습에서 수렴 속도와 샘플 효율성을 향상시키는 이유를 이론적으로 이해하는 것.
• PER의 두 가지 핵심 제약 조건인 오래된 우선순위와 상태 공간 커버리지 부족을 규명하고 분석하는 것.
• 학습된 환경 모델을 활용해 더 대표적인 가상 경험을 생성함으로써 이러한 제약 조건을 완화하는 모델 기반 샘플링 방법을 개발하는 것.
• 제안된 방법이 벤치마크 제어 환경과 실제 자율 주행 애플리케이션에서의 효용성을 입증하는 것.

제안 방법

• 저자는 지도 학습 환경에서 오차 기반 우선순위 샘플링(평균 제곱오차 기반)과 제곱형 손실에 대한 균일 샘플링 간의 이론적 등가성을 수립한다.
• 학습된 환경 모델을 사용해 상태를 시뮬레이션하고 추정된 TD 오차 기반으로 우선순위를 매기는 모델 기반 확률적 경사 하강 랭드비안 동역학(SGLD) 샘플링 방법을 제안한다.
• 노이즈를 주입한 경사 상승을 통해 절대값 TD 오차를 최적화하고, 경험 공분산 행렬을 기반으로 다양한 상태를 탐색하도록 유도한다.
• 생성된 가상 경험의 검색-제어 큐를 유지하며, 학습 중에 리play 버퍼의 실제 경험과 혼합한다.
• 최근 상태 전이 기반으로 새로운 상태의 수용 임계값을 동적으로 조정하여 탐색을 향상시키고 국소 최적값을 피한다.
• 이 방법은 실재 및 시뮬레이션 경험을 모두 사용해 Q-네트워크를 업데이트하는 다이나-TD 프레임워크에 통합되며, 안정성을 확보하기 위해 타겟 네트워크 업데이트도 수행된다.

실험 결과

연구 질문

• RQ1 왜 초기 학습 단계에서 균일 샘플링 대비 우선순위 기반 경험 재생이 수렴 속도를 향상시키는가?
• RQ2 우선순위 기반 경험 재생이 성능에 악영향을 미치는 근본적인 이론적 제약 조건은 무엇인가?
• RQ3 오래된 우선순위나 낮은 커버리지 문제 없이 이상적인 우선순위 샘플링 분포에 더 가까운 가상 경험을 어떻게 생성할 수 있는가?
• RQ4 모델 기반 SGLD 샘플링 전략은 다양한 RL 환경에서 표준 PER 대비 샘플 효율성과 최종 성능 측면에서 뛰어나게 작용할 수 있는가?

주요 결과

• 제안된 SGLD 기반 샘플링 방법은 브루트 포스 기준 대비 이상적인 우선순위 샘플링 분포에 훨씬 더 가까운 분포를 가지는 가상 경험을 생성함을 입증했다.
• 이산 제어 작업(예: CartPole, LunarLander)에서 표준 PER 및 기타 베이스라인 대비 더 빠른 수렴 속도와 높은 최종 성능를 달성했다.
• 연속 제어 벤치마크(Hopper, Walker2d)에서 샘플 효율성과 최종 수익률 측면에서 일관된 향상을 보였으며, 학습 곡선이 더 빠르게 수렴했다.
• 자율 주행 애플리케이션(roundabout-v0)에서 학습에 필요한 샘플 수를 감소시키고 정책 일반화 성능을 향상시켜, 복잡한 실세계 시나리오에서의 실용성을 입증했다.
• 제거 실험 결과, 오래된 우선순위와 부족한 커버리지가 PER의 성능 저하의 주요 원인임을 확인했으며, 제안된 방법이 이 두 문제를 효과적으로 완화함을 입증했다.