[논문 리뷰] Experience Replay with Likelihood-free Importance Weights

Samarth Sinha, Jiaming Song외 2명|arXiv (Cornell University)|2020. 06. 23.

Reinforcement Learning in Robotics참고 문헌 39인용 수 20

한 줄 요약

이 논문은 액터-크리틱 강화학습에서 경험 재생을 위한 가능성 없는 중요도 가중치를 제안하며, 분류기로 추정한 밀도 비율을 통해 현재 정책의 정적 분포 하에서 경험의 가능도에 기반해 경험을 우선순위화한다. 이 방법은 표본 효율성을 향상시켜, 균일한 샘플링 및 이전의 우선순위 지정 방법인 PER와 ERE에 비해 Mujoco 환경에서 뛰어난 성능을 달성한다.

ABSTRACT

The use of past experiences to accelerate temporal difference (TD) learning of value functions, or experience replay, is a key component in deep reinforcement learning. Prioritization or reweighting of important experiences has shown to improve performance of TD learning algorithms.In this work, we propose to reweight experiences based on their likelihood under the stationary distribution of the current policy. Using the corresponding reweighted TD objective, we implicitly encourage small approximation errors on the value function over frequently encountered states. We use a likelihood-free density ratio estimator over the replay buffer to assign the prioritization weights. We apply the proposed approach empirically on two competitive methods, Soft Actor Critic (SAC) and Twin Delayed Deep Deterministic policy gradient (TD3) -- over a suite of OpenAI gym tasks and achieve superior sample complexity compared to other baseline approaches.

연구 동기 및 목표

• 현재 정책의 정적 분포 하에서 경험의 빈도에 기반해 경험을 재가중하여 오프-폴리시 딥 강화학습의 표본 효율성을 향상시키는 것.
• 우리가 흔히 사용하는 히وري스틱 우선순위 지정 방법인 우선순위 경험 재생(PER)의 한계를 해결하는 것. PER는 높은 TD 오차를 가진 상태에 집중하는 반면, 본 논문은 높은 빈도의 상태에 집중한다.
• 재생 버퍼 내에서 온-폴리시와 오프-폴리시 경험 분포 간의 밀도 비율을 추정하기 위한 실용적이고 가능성 없는 방법을 개발하는 것.
• 제안된 가중치 기반 방법을 아키텍처 변경 없이 최신 액터-크리틱 알고리즘인 SAC와 TD3에 통합하는 것.
• 자주 방문되는 상태를 우선순위로 삼는 것이 가치 함수 추정과 더 빠른 정책 학습을 가능하게 함을 경험적으로 검증하는 것.

제안 방법

• 빠른 재생 버퍼에서 온-폴리시 경험과 느린 재생 버퍼에서의 오프-폴리시 경험을 구분하는 분류기를 사용하여, 이들 간의 밀도 비율을 추정한다.
• 추정된 밀도 비율은 Q-값 업데이트 목표함수의 중요도 가중치로 사용되며, 현재 정책 하에서 더 가능성이 높은 상태-행동 쌍에 대해 업데이트를 선호한다.
• 정적 분포 하에서 기대 TD 오차를 최소화하면 벨만 연산자의 더 나은 수축 성질을 확보할 수 있음을 이론적으로 분석한 바, 이는 이론적 기반을 제공한다.
• 명시적인 가능도 계산을 피하기 위해 가능성 없는 밀도 비율 추정기를 사용함으로써, 복잡하고 고차원적인 환경에도 적용 가능하다.
• 중요도 가중치는 직접적으로 TD 학습 목표함수에 적용되어, 재생 버퍼를 온-폴리시 데이터에 더 가깝게 재가중한다.
• 기존의 액터-크리틱 알고리즘과 호환되며, 학습 파ip라인에 최소한의 수정만으로 통합 가능하다.

실험 결과

연구 질문

• RQ1 정책의 정적 분포 하에서 가능도에 기반해 경험 재생을 재가중하는 것이 액터-크리틱 방법의 표본 효율성 향상에 기여하는가?
• RQ2 높은 TD 오차가 아닌 자주 방문되는 상태를 우선순위로 삼는 것이 가치 함수 추정과 정책 성능 향상에 기여하는가?
• RQ3 명시적인 밀도 모델이 필요 없이 가능성 없는 밀도 비율 추정기가 정적 분포의 가능도를 효과적으로 근사할 수 있는가?
• RQ4 제안된 방법은 PER 및 ERE와 같은 기존의 우선순위 지정 기법과 비교해 표본 복잡도와 최종 성능 측면에서 어떻게 성능을 내는가?
• RQ5 분류기 온도, 재생 버퍼 크기 등의 하이퍼파라미터 선택에 대해 이 방법은 얼마나 강인한가?

주요 결과

• 제안된 LFIW 방법은 SAC를 사용할 경우 5개의 Mujoco 태스크 중 4개에서 균일 샘플링, PER, ERE에 비해 뛰어난 표본 복잡도를 달성했으며, TD3를 사용할 경우 모든 태스크에서 동일한 성능 향상을 보였다.
• Humanoid-v2 환경에서 SAC+LFIW는 실제 Q-값과 0.74의 피어슨 상관계수를 기록했으며, SAC 단독 사용 시 0.41에 그친 점을 고려하면 가치 함수 추정이 크게 향상됨을 시사한다.
• 밀도 비율 추정을 위한 분류기는 73.1%의 정확도와 87.3%의 정밀도를 기록하여, 중요도 가중치가 온-폴리시 유사 경험을 효과적으로 식별하고 있음을 확인한다.
• LFIW는 온도, 재생 버퍼 크기, 네트워크 너비 등의 하이퍼파라미터 변화에 대해 탄력적인 성능을 보이며, 분석 실험을 통해 이를 입증했다.
• Hopper와 같이 정책가 조기에 수렴하는 환경에서는 LFIW가 거의 향상이 없었는데, 이는 느린 재생 버퍼가 이미 대부분 온-폴리시 데이터를 포함하고 있기 때문에, 이는 본 방법의 온-폴리시 근접성에 초점을 맞춘 타당성을 뒷받침한다.
• LFIW와 PER를 병합해도 유의미한 성능 향상이 없었으며, 이는 PER의 목표(최대 Q-학습)가 액터-크리틱 목표와 맞지 않으며, 온-폴리시 정확도가 더 중요하다는 점을 시사한다.