[논문 리뷰] Energy-Based Hindsight Experience Prioritization

Rui Zhao, Volker Tresp|arXiv (Cornell University)|2018. 10. 02.

Reinforcement Learning in Robotics참고 문헌 43인용 수 27

한 줄 요약

이 논문은 물리학에 영감을 받은 궤적 에너지 함수를 사용하여 허지 경험 재생(Hindsight Experience Replay, HER)의 우선순위를 정하는 에너지 기반 우선순위 지정(Energy-Based Prioritization, EBP)을 제안한다. 이는 시간에 따라 운동 에너지, 위치 에너지, 회전 에너지의 변화를 합산하여 정의된다. EBP는 계산 비용을 증가시키지 않고도 평균 1.96배의 샘플 효율성 향상과 최고 성능 기준 상태 기반 HER 보다 평균 3.75%p 향상된 성능을 달성한다.

ABSTRACT

In Hindsight Experience Replay (HER), a reinforcement learning agent is trained by treating whatever it has achieved as virtual goals. However, in previous work, the experience was replayed at random, without considering which episode might be the most valuable for learning. In this paper, we develop an energy-based framework for prioritizing hindsight experience in robotic manipulation tasks. Our approach is inspired by the work-energy principle in physics. We define a trajectory energy function as the sum of the transition energy of the target object over the trajectory. We hypothesize that replaying episodes that have high trajectory energy is more effective for reinforcement learning in robotics. To verify our hypothesis, we designed a framework for hindsight experience prioritization based on the trajectory energy of goal states. The trajectory energy function takes the potential, kinetic, and rotational energy into consideration. We evaluate our Energy-Based Prioritization (EBP) approach on four challenging robotic manipulation tasks in simulation. Our empirical results show that our proposed method surpasses state-of-the-art approaches in terms of both performance and sample-efficiency on all four tasks, without increasing computational time. A video showing experimental results is available at https://youtu.be/jtsF2tTeUGQ

연구 동기 및 목표

• 모든 에피소드를 학습 가치에 관계없이 동일하게 취급하는 전통적 Hindsight Experience Replay(HER)의 비효율성을 해결하기 위해.
• 학습에 가장 유용한 에피소드를 식별할 수 있는 원리적이고 물리학에 기반한 지표를 개발하기 위해.
• 계산 오버헤드를 증가시키지 않고도 다중 목표 강화 학습에서 샘플 효율성과 최종 성능을 향상시키기 위해.
• 궤적 에너지가 학습 난이도와 TD-오차와 상관이 있음을 검증하여, 우선순위 지정 신호로 사용할 수 있음을 입증하기 위해.

제안 방법

• 궤적 에너지 함수는 궤적 내 모든 타임스텝에서의 전이 에너지—운동 에너지, 위치 에너지, 회전 에너지—의 합으로 정의된다.
• 상태 간 전이 에너지는 대상 물체의 기계적 에너지(운동 에너지 + 위치 에너지 + 회전 에너지)의 변화로 계산된다.
• 전체 궤적 에너지가 높을수록 더 복잡하거나 성공적인 상호작용을 의미하므로, 에피소드는 총 궤적 에너지에 따라 우선순위가 매겨진다.
• 이 방법은 허지 경험 재생(HER)을 사용하는 오프-폴리시 딥 강화 학습 알고리즘과 통합되며, 균일한 재생 대신 에너지 기반 우선순위 지정을 적용한다.
• 이 접근법은 MuJoCo 시뮬레이션을 활용하여 OpenAI Gym 환경에서 네 가지 로봇 조작 작업에 대해 평가된다.
• 에너지 기반 우선순위 지정은 기존의 우선순위 경험 재생(Prioritized Experience Replay, PER)과 수직이며, 이를 함께 사용할 수 있다.

실험 결과

연구 질문

• RQ1 궤적 에너지가 로봇 조작 작업에서 학습 난이도의 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ2 고에너지 궤적을 우선순위로 지정하면 HER에서 샘플 효율성과 최종 성능이 향상되는가?
• RQ3 궤적 에너지와 시간 차분(TD) 오차 사이에 유의미한 상관관계가 있는가? 이는 학습 가치를 나타내는가?
• RQ4 물리 기반 에너지 지표는 오프-폴리시 강화 학습에서 커리큘럼 학습을 이끄는 데 효과적으로 활용될 수 있는가?

주요 결과

• EBP는 네 가지 로봇 조작 작업에 걸쳐 평균 3.75%p의 최종 평균 성공률 향상을 달성하여 기존의 단순 HER보다 뛰어난 성능을 보였다.
• FetchPickAndPlace-v0 환경에서 EBP는 94.84%의 성공률을 기록하여, 단순 HER(93.78%)와 PER를 적용한 HER(93.66%)를 모두 초월했다.
• EBP는 평균 1.96배의 샘플 효율성 향상을 보였으며, 작업별로는 1.49배에서 2.72배의 성과 향상이 있었다.
• FetchPickAndPlace-v0 환경에서 93.8%의 성공률를 달성하기 위해 EBP는 단 48,000개의 샘플만 필요로 했고, 단순 HER는 93,100개의 샘플이 필요했다—거의 두 배의 샘플 효율성 향상이다.
• 궤적 에너지와 TD-오차 사이의 피어슨 상관계수 0.6은 고에너지 궤적에서 학습 가치가 더 높다는 것을 확인하며, 이는 우선순위 지정 신호로의 타당성을 뒷받침한다.
• 이 방법은 표준 HER와 동일한 계산 비용을 유지하므로 실세계 구현에 실용적이다.