[논문 리뷰] Curiosity-Driven Experience Prioritization via Density Estimation

Rui Zhao, Volker Tresp|arXiv (Cornell University)|2019. 02. 20.

Visual Attention and Saliency Detection참고 문헌 49인용 수 42

한 줄 요약

CDP는 재생 버퍼에서 궤적 밀도를 변분 가우시안 혼합 모델을 통해 추정하고 저밀도(희귀한) 달성 목표 궤적을 우선순위화하여 샘플 효율성 및 성능을 향상시키며, DDPG 및 DDPG+HER와 같은 off-policy RL 방법과 결합할 때 효과를 발휘한다.

ABSTRACT

In Reinforcement Learning (RL), an agent explores the environment and collects trajectories into the memory buffer for later learning. However, the collected trajectories can easily be imbalanced with respect to the achieved goal states. The problem of learning from imbalanced data is a well-known problem in supervised learning, but has not yet been thoroughly researched in RL. To address this problem, we propose a novel Curiosity-Driven Prioritization (CDP) framework to encourage the agent to over-sample those trajectories that have rare achieved goal states. The CDP framework mimics the human learning process and focuses more on relatively uncommon events. We evaluate our methods using the robotic environment provided by OpenAI Gym. The environment contains six robot manipulation tasks. In our experiments, we combined CDP with Deep Deterministic Policy Gradient (DDPG) with or without Hindsight Experience Replay (HER). The experimental results show that CDP improves both performance and sample-efficiency of reinforcement learning agents, compared to state-of-the-art methods.

연구 동기 및 목표

• RL에서 재생 버퍼의 메모리 불균형을 달성 목표 궤적의 저대표화를 우선순위로 해결한다.
• 경험 버퍼의 샘플링을 균형 있게 하는 호기심에서 영감을 받은 우선순위 프레임워크(CDP)를 개발한다.
• CDP를 DDPG 및 DDPG+HER와 같은 오프폴리시 RL 알고리즘과 결합할 수 있도록 한다.
• TD-오류가 아닌 밀도 추정치를 우선순위 재생의 가이드로 활용한다.
• 다중 작업 로봇 조작 작업에서 샘플 효율성 및 최종 성능의 개선을 입증한다.

제안 방법

• 각 궤적을 시간에 따른 목표 상태의 연결된 시퀀스로 표현한다.
• 메모리 버퍼 데이터에서 학습된 Variational Gaussian Mixture Model (V-GMM)으로 궤적 밀도를 추정한다.
• 궤적 밀도 ρ와 그 보수 ���ρ = 1 - ρ를 계산하여 희귀 궤적을 식별한다.
• bar{ρ}의 순위로 궤적을 순위화하고 이 순위 기반 확률에 따라 재생 빈도가 낮은 궤적을 재생한다.
• CDP를 오프폴리시 RL 알고리즘(예: DDPG, DDPG+HER)에 통합하고 매 에폭마다 밀도 모델을 업데이트한다.
• 선택적으로 CDP를 Prioritized Experience Replay (PER)와 비교하고 CDP의 우수한 시간 복잡도를 보인다.

실험 결과

연구 질문

• RQ1 CDP를 도입하면 DDPG 및 DDPG+HER가 다중 목표 로봇 작업에서 성능 및 샘플 효율성을 개선하는가?
• RQ2 _PER와 비교했을 때 CDP가 성능 향상 및 계산 효율성 측면에서 어떤 차이가 있는가?
• RQ3 밀도 기반 우선순위(bar{ρ})와 학습 중 TD-오류 간의 관계는 무엇인가?

주요 결과

• CDP는 여섯 가지 로봇 작업 모두에서 수렴 속도를 가속화하고 Baseline 및 PER보다 더 높은 최종 성공률을 보인다.
• CDP는 여섯 개 환경에서 평균적으로 샘플 효율성을 약 2배 향상시킨다.
• CDP는 훈련 시간 면에서 PER보다 현저히 빠르며(CDP는 Baseline과 PER 사이의 시간대, PER은 훨씬 느림), 성능은 동등하거나 더 나은 결과를 제공한다.
• Baseline 대비 최종 성능의 평균 개선은 약 9.15 퍼센트 포인트이다.
• 보완 밀도 bar{ρ}와 TD-오류 간에 양의 상관관계(평균 피어슨 r ≈ 0.7)가 있어, 더 희귀한 궤적이 학습에 더 가치가 있는 경향이 있음을 시사한다.