[논문 리뷰] Importance Resampling for Off-policy Prediction

Matthew Schlegel, Wesley Chung외 3명|arXiv (Cornell University)|2019. 06. 11.

Reinforcement Learning in Robotics참고 문헌 35인용 수 4

한 줄 요약

이 논문은 중요도 재표본화(Importance Resampling, IR)를 소개한다. IR는 중요도 샘플링 재가중 처리를 대체하여 재표본 버퍼에서 중요도 비율을 샘플링 가중치로 사용해 재표본화하는 새로운 이정책 예측 방법이다. IR는 표본화된 환경과 딥 RL 환경 모두에서 중요도 샘플링(IS), 가중 중요도 샘플링(WIS), V-trace보다 더 낮은 업데이트 분산과 더 빠른 수렴 속도를 달성하며, 특히 학습률 민감도를 감소시키고 샘플 효율성을 향상시킨다.

ABSTRACT

Importance sampling (IS) is a common reweighting strategy for off-policy prediction in reinforcement learning. While it is consistent and unbiased, it can result in high variance updates to the weights for the value function. In this work, we explore a resampling strategy as an alternative to reweighting. We propose Importance Resampling (IR) for off-policy prediction, which resamples experience from a replay buffer and applies standard on-policy updates. The approach avoids using importance sampling ratios in the update, instead correcting the distribution before the update. We characterize the bias and consistency of IR, particularly compared to Weighted IS (WIS). We demonstrate in several microworlds that IR has improved sample efficiency and lower variance updates, as compared to IS and several variance-reduced IS strategies, including variants of WIS and V-trace which clips IS ratios. We also provide a demonstration showing IR improves over IS for learning a value function from images in a racing car simulator.

연구 동기 및 목표

• 큰 중요도 샘플링(IS) 비율로 인해 발생하는 이정책 가치 함수 학습의 높은 분산 문제를 해결한다.
• 재가중 처리의 대안으로서 이정책 예측에서 재표본화를 탐색하여 극단적인 IS 비율을 직접 곱하는 것을 피한다.
• 학습 이전에 재표본화가 IS 기반 방법보다 훈련을 안정화시키고 수렴 속도를 향상시킬 수 있음을 입증한다.
• 표본화된 환경과 딥 RL 환경(이미지 기반 제어 작업 포함)에서 IR을 평가하여 일반화성과 강건성을 점검한다.
• 여러 환경에서 IS, WIS, V-trace와의 비교를 통해 분산, 학습률 민감도, 수렴 속도 측면에서 IR의 성능을 평가한다.

제안 방법

• 재표본 버퍼에서 중요도 비율을 샘플링 확률로 사용해 전이를 재표본화: P(s,a) ∝ π(a|s)/μ(a|s).
• 표준 이정책 업데이트(예: TD(0))를 재표본화된 전이에 적용하여 업데이트 규칙에서 중요도 비율을 직접 곱하지 않는다.
• 경험의 분포를 보정하기 위해 가중 부트스트랩 방법을 사용하여 학습 이전에 편향 없는 추정을 보장한다.
• 재표본화로 인한 편향을 줄이면서도 일致성을 유지하기 위해 IR의 편향 보정 버전을 도입한다.
• 미니배치 업데이트와 버퍼 관리 기법을 구현하여 온라인 학습과 확장성을 지원한다.
• 동일한 실험 설정에서 IR을 IS, WIS(버퍼 및 미니배치 버전 포함), V-trace(다양한 클리핑 임계값 포함)와 비교한다.

실험 결과

연구 질문

• RQ1 중요도 비율을 가중치로 사용해 경험을 재표본화하는 것이 표준 IS 및 WIS 대비 업데이트 분산을 줄이는가?
• RQ2 표본화된 환경과 딥 RL 환경에서 IR은 IS 및 V-trace와 비교해 학습률 민감도와 수렴 속도 측면에서 어떻게 성능을 내는가?
• RQ3 IR은 일致성과 낮은 편향을 유지하면서도 가중치 업데이트 횟수 측면에서 더 빠른 수렴을 달성할 수 있는가?
• RQ4 이미지 기반 제어 작업과 같은 높은 분산, 높은 비율 환경에서 IR은 성능 향상을 보일 수 있는가?
• RQ5 초기 훈련 단계에서 IR 업데이트의 분산은 IS 및 WIS와 비교해 어떻게 되는가?

주요 결과

• 초기 훈련 단계에서 IR은 Random Walk 마르코프 체인 환경에서 IS 및 WIS보다 유의미하게 낮은 업데이트 분산을 달성한다.
• 모든 방법 중에서 IR은 가장 낮은 학습률 민감도를 보이며, 이론적 이정책 학습의 성능 안정성과 유사한 성능을 유지한다.
• Four Rooms 환경에서 IR은 IS 및 WIS보다 더 빠르게 수렴하며, 분산이 낮고 샘플 효율성이 향상된다.
• 이미지 관측이 있는 TORCs 레이싱 카 시뮬레이터에서 IR은 IS 및 V-trace를 능가하며, 특히 높은 학습률에서 성능이 뛰어나 분산 감소를 시사한다.
• IR은 일치성을 유지하며 WIS와 유사한 편향을 보이며, 편향 보정 버전은 편향 없는 추정을 달성한다.
• IR 업데이트의 분산은 훈련 반복 전반에 걸쳐 일관되게 IS보다 낮으며, 이는 학습률 민감도 감소와 더 빠른 수렴과 관련이 있다.