[논문 리뷰] Experience Replay Optimization

Daochen Zha, Kwei-Herng Lai외 2명|arXiv (Cornell University)|2019. 06. 19.

Reinforcement Learning in Robotics참고 문헌 29인용 수 16

한 줄 요약

이 논문은 오프-정책 강화학습에서 샘플 효율성을 향상시키기 위해 재현 버퍼에서 가장 유용한 경험을 선택하는 리플레이 정책을 학습하는 프레임워크인 경험 재생 최적화(ERO)를 제안한다. 누적 보상 피드백을 사용하여 에이전트 정책과 리플레이 정책을 번갈아 최적화함으로써, ERO는 8개의 연속 제어 과제에서 균일하고 규칙 기반 리플레이 전략을 능가한다.

ABSTRACT

Experience replay enables reinforcement learning agents to memorize and reuse past experiences, just as humans replay memories for the situation at hand. Contemporary off-policy algorithms either replay past experiences uniformly or utilize a rule-based replay strategy, which may be sub-optimal. In this work, we consider learning a replay policy to optimize the cumulative reward. Replay learning is challenging because the replay memory is noisy and large, and the cumulative reward is unstable. To address these issues, we propose a novel experience replay optimization (ERO) framework which alternately updates two policies: the agent policy, and the replay policy. The agent is updated to maximize the cumulative reward based on the replayed data, while the replay policy is updated to provide the agent with the most useful experiences. The conducted experiments on various continuous control tasks demonstrate the effectiveness of ERO, empirically showing promise in experience replay learning to improve the performance of off-policy reinforcement learning algorithms.

연구 동기 및 목표

• 오프-정책 강화학습에서 균일하고 규칙 기반 리플레이 전략의 열악한 성능을 해결한다.
• 소음이 많고 크기가 큰 리플레이 버퍼에서 가장 유용한 경험을 동적으로 선택할 수 있도록 경험 재생을 학습 문제로 재구성한다.
• 누적 보상을 최대화하기 위해 에이전트 정책과 리플레이 정책을 번갈아 최적화하는 일반적인 프레임워크를 개발한다.
• ERO를 통해 DDPG와 같은 오프-정책 알고리즘의 샘플 효율성과 학습 안정성을 향상시킨다.
• 학습 기반 리플레이 정책이 연속 제어 과제에서 히우리스틱 전략(예: 우선순위 기반 경험 재생(PER))을 능가할 수 있는지 조사한다.

제안 방법

• 에이전트 정책과 리플레이 정책을 번갈아 업데이트하는 이중 정책 프레임워크를 제안한다.
• 효율적인 재생을 위해 리플레이 버퍼 전이에 대한 우선순위 벡터를 유지한다.
• 재생된 경험에서 누적 보상의 향상 정도를 기반으로 정책 기반 방법을 사용해 리플레이 정책을 업데이트한다.
• 재생된 데이터에서 에이전트의 성능을 피드백 신호로 사용해 리플레이 정책을 최적화한다.
• ERO 프레임워크를 DDPG 알고리즘에 적용하여 구체적인 사례로 통합함으로써 오프-정책 훈련 루프에 리플레이 정책 학습을 통합한다.
• 환경 피드백(누적 보상)을 신호로 활용해 리플레이 정책 학습을 이끌어내어 작업에 특화된 역학에 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 학습된 리플레이 정책이 오프-정책 RL의 샘플 효율성을 향상시키는 데 있어 균일하고 규칙 기반 리플레이 전략을 능가할 수 있는가?
• RQ2 ERO의 성능은 연속 제어 과제에서 표준 DDPG와 우선순위 기반 경험 재생(PER)과 비교해 어떻게 되는가?
• RQ3 학습된 리플레이 정책이 어떤 특징(예: TD 오차, 보상, 최근성)을 우선순위로 삼는가? 그리고 이는 과제 간에 어떻게 다를까?
• RQ4 리플레이 정책이 최근 또는 고보상 전이를 선호하는가? 이는 학습 안정성과 수렴에 어떤 영향을 미치는가?
• RQ5 리플레이 정책은 다양한 과제와 알고리즘에 적응할 수 있으며, 환경의 노이즈와 버퍼 크기 변화에 강건한가?

주요 결과

• ERO는 OpenAI Gym의 8개 연속 제어 과제에서 바닐라-DDPG와 규칙 기반 전략에 비해 일관되게 샘플 효율성과 누적 보상을 향상시킨다.
• ERO의 학습된 리플레이 정책은 낮은 TD 오차와 최근 경험을 선호함을 보여주며, 이는 고-TD 오차 전이보다 잘 이해되고 최신화된 전이를 우선순위로 삼음을 시사한다.
• PER에서 제안한 바와 같이 고-TD 오차 전이를 우선순위로 삼는 이론적 매력은 실질적으로 일반화되지 못할 수 있으며, 실무에서는 열악한 성능을 보일 수 있음을 ERO의 성능이 시사한다.
• 훈련이 진행됨에 따라 리플레이 정책은 더 최근이고 보다 높은 보상 전이를 더 많이 샘플링하도록 학습되며, 이는 직관적인 학습 역학과 일치한다.
• 평가된 과제에서 PER 기반 방법은 DDPG에서 만족스럽지 못한 성능을 보였으며, 이는 규칙 기반 우선순위 부여가 모든 알고리즘이나 환경에서 효과적이지 않음을 시사한다.
• 결과적으로 누적 보상 피드백을 기반으로 한 리플레이 정책 학습이 정적 히우리스틱보다 더 효과적인 경험 재사용을 이끌어낸다는 것을 경험적으로 검증한다.