[논문 리뷰] Advances in Experience Replay

Tracy Wan, Neil Xu|arXiv (Cornell University)|2018. 05. 15.

Online Learning and Analytics인용 수 3

한 줄 요약

이 논문은 여러 개의 OpenAI Gym 환경에서 DQN 및 DDPG 알고리즘과 함께 세 가지 고급 경험 재생 기법—통합 경험 재생(CER), 우선순위 경험 재생(PER), 뒤집어진 경험 재생(HER)—을 조합하여 연구한다. 결과적으로, Pendulum-v0과 같은 희박한 보상 환경에서는 HER가 학습에 상당한 개선을 이끌어내지만, 세 가지 기법을 모두 조합해도 기준선을 일관되게 뛰어넘지 못하며, 성능은 환경의 구조와 학습 안정성에 매우 의존한다.

ABSTRACT

This project combines recent advances in experience replay techniques, namely, Combined Experience Replay (CER), Prioritized Experience Replay (PER), and Hindsight Experience Replay (HER). We show the results of combinations of these techniques with DDPG and DQN methods. CER always adds the most recent experience to the batch. PER chooses which experiences should be replayed based on how beneficial they will be towards learning. HER learns from failure by substituting the desired goal with the achieved goal and recomputing the reward function. The effectiveness of combinations of these experience replay techniques is tested in a variety of OpenAI gym environments.

연구 동기 및 목표

• 최근 경험 재생 기법—CER, PER, HER—을 조합하여 딥 강화학습에서 샘플 효율성과 학습 안정성을 향상시키는 데서 효과를 평가하는 것.
• 이러한 기법들의 상호보완적 통합이 개별 기법이나 표준 경험 재생보다 우수한 수렴성과 성능을 이끌어내는지 평가하는 것.
• 보상 희박성과 행동 공간 유형이 다양한 다양한 강화학습 환경에서 통합 경험 재생의 강건성과 일반화 능력을 테스트하는 것.
• LunarLander-v2, MountainCar, Pendulum-v0와 같은 벤치마크 환경에서 훈련 속도 향상과 최종 성능 향상에 기여하는 조합을 특정하는 것.
• 초기화 매개변수 민감도와 학습 불안정성이 통합 경험 재생 방법의 신뢰성에 미치는 영향을 조사하는 것.

제안 방법

• 최근 경험을 항상 훈련 배치에 포함시켜 시간적 관련성을 유지하는 CER를 통합한다.
• 고도의 시간 차이 오차(TD 오차)를 가진 전이를 우선순위로 재생하여 정보가 풍부한 경험에 집중하는 PER를 통합한다.
• 실패한 궤적을 원래 목표 대신 달 достиг은 목표로 바꾸고 보상을 재계산하여 실패에서 학습할 수 있도록 하는 HER를 적용한다.
• DQN 및 DDPG 프레임워크 내에서 통합된 접근법을 구현하며, 상태, 행동, 보상, 다음 상태, 목표 정보를 포함한 전이를 저장하는 경험 재생 버퍼를 사용한다.
• DDPG에서 훈련 안정성을 위해 타겟 네트워크와 부드러운 업데이트를 적용하고, 다양한 상태 및 행동 스케일을 처리하기 위해 배치 정규화를 적용한다.
• DDPG에서는 노이즈 주입을 통해 탐색을 수행하고, 다양한 무작위 시드를 통해 성능을 평가하여 변동성과 안정성을 분석한다.

실험 결과

연구 질문

• RQ1 CER, PER, HER를 조합하면 DQN 및 DDPG에서 기준선 경험 재생 대비 더 빠른 수렴과 높은 최종 성능를 달성하는가?
• RQ2 이러한 기법들은 보상 희박성 환경(예: MountainCar, Pendulum)과 보상 밀도가 높은 환경(예: LunarLander)에서 어떻게 성능을 보이는가?
• RQ3 연속 제어 과제에서 실패가 흔한 상황에서 HER의 포함이 학습에 얼마나 기여하는가?
• RQ4 우선순위화(PER)와 뒤집어진 학습(HER)의 조합이 학습 효율성을 증대시키는가, 아니면 서로 다른 샘플링 목적 때문에 갈등을 일으켜 성능 저하를 초래하는가?
• RQ5 다양한 훈련 런과 환경에서 통합 경험 재생의 결과는 얼마나 안정적이고 재현 가능한가?

주요 결과

• Pendulum-v0 환경에서 HER는 학습 속도와 성공률을 크게 향상시켰으며, CHER(CER + HER)는 단 500 에피소드 만에 수렴하여 다른 조합보다 뛰어난 성능을 보였다.
• 보상이 밀도 높은 LunarLander-v2에서는 HER와 PER를 포함한 기법이 기준선보다 성능이 열 劣했으며, 이는 이러한 방법들이 보상 밀도가 높은 환경에서는 덜 효과적일 수 있음을 시사한다.
• 통합 경험 재생(CER)만으로도 LunarLander에서는 기준선 수준의 성능를 보였지만, 이를 뛰어넘지는 못했으며, 이는 보상 밀도가 높은 환경에서는 추가적인 이점이 제한적임을 시사한다.
• MountainCar 결과에서는 방법 간 차이가 거의 없었으며, 어떤 조합도 명백한 이점이 없었는데, 이는 보상의 극도로 희박하고 모델의 불안정성 때문일 가능성이 높다.
• DDPG 훈련은 환경 전반에서 매우 불안정했으며, 특히 Pendulum-v0에서 문제가 심해져 정량적 비교의 신뢰성이 떨어지지만, HER 기반 방법에서 유망한 경향은 관찰되었다.
• HER와 PER, CER의 조합이 모든 환경에서 일관된 개선을 이끌어내지 못했으며, 이는 다양한 RL 과제에 걸쳐 경험 재생 향상 기법을 일반화하는 데서 도전 과제가 있음을 강조한다.