[논문 리뷰] Soft Hindsight Experience Replay

Qiwei He, Liansheng Zhuang외 1명|arXiv (Cornell University)|2020. 02. 06.

Reinforcement Learning in Robotics참고 문헌 23인용 수 11

한 줄 요약

이 논문은 희박 보상이 주어지는 연속 제어 환경에서 학습 안정성과 성능을 향상시키기 위해 최대 엔트로피 강화학습(MERL)을 뒤집어보기 경험 재생(HER)에 통합한 새로운 방법인 소프트 희박 보상 경험 재생(SHER)을 제안한다. 결정적 정책 학습 대신 확률적 추론을 적용함으로써 SHER는 OpenAI Gym의 도전적인 핸드맨리플레이션 작업에서 최신 기준 성능을 달성하며, 랜덤 시드 간에 훨씬 낮은 분산과 더불어 더 빠른 수렴을 보인다. HER 및 CHER와 비교해도 유의미한 성능 향상을 보였다.

ABSTRACT

Efficient learning in the environment with sparse rewards is one of the most important challenges in Deep Reinforcement Learning (DRL). In continuous DRL environments such as robotic arms control, Hindsight Experience Replay (HER) has been shown an effective solution. However, due to the brittleness of deterministic methods, HER and its variants typically suffer from a major challenge for stability and convergence, which significantly affects the final performance. This challenge severely limits the applicability of such methods to complex real-world domains. To tackle this challenge, in this paper, we propose Soft Hindsight Experience Replay (SHER), a novel approach based on HER and Maximum Entropy Reinforcement Learning (MERL), combining the failed experiences reuse and maximum entropy probabilistic inference model. We evaluate SHER on Open AI Robotic manipulation tasks with sparse rewards. Experimental results show that, in contrast to HER and its variants, our proposed SHER achieves state-of-the-art performance, especially in the difficult HandManipulation tasks. Furthermore, our SHER method is more stable, achieving very similar performance across different random seeds.

연구 동기 및 목표

• 희박 보상이 주어지는 연속 제어 환경, 특히 복잡한 로봇 조작 작업에서 뒤집어보기 경험 재생(HER)의 불안정성과 열악한 수렴 문제를 해결하기 위해.
• 최대 엔트로피 강화학습(MERL)을 HER 프레임워크에 통합하여 딥 강화학습의 학습 안정성과 수렴성을 향상시키기 위해.
• MERL의 확률적 성격이 커리큘럼 학습이나 기타 보조 기법에 의존하지 않고도 다중목표 강화학습에서 성능과 내구성을 향상시킬 수 있는지 평가하기 위해.
• MERL의 온도 하이퍼파rameter가 SHER의 성능과 안정성에 미치는 영향을 다양한 환경에서 분석하기 위해.

제안 방법

• SHER는 뒤집어보기 경험 재생(HER)과 최대 엔트로피 강화학습(MERL)을 결합하여, 결정적 정책 학습을 확률적 정책 최적화로 대체함으로써 탐색 능력과 안정성을 향상시킨다.
• 메서드는 확률적 추론 기반의 소프트 목적 함수를 유도하며, 달 достиг은 목표를 잠재적인 목표로 사용하고 엔트로피 정규화를 통해 다양한 및 강건한 정책 학습을 장려한다.
• SHER는 소프트 Q-학습 및 소프트 액터-크리틱 원리를 활용하여 확률적 프레임워크 하에서 정책을 최적화함으로써, 비제로 행동 확률과 더 부드러운 정책 업데이트를 보장한다.
• 알고리즘은 실패한 트레이젝터리를 재사용하여 원래 목표를 달성한 목표로 대체하지만, 엔트로피 정규화된 가치 함수를 기반으로 소프트 타겟을 할당하는 확률적 추론을 적용한다.
• 온도 하이퍼파rameter α는 이용과 탐색 사이의 트레이드오���을 제어하며, 분석 실험을 통해 이 하이퍼파라미터가 성능과 수렴에 결정적인 역할을 함을 확인했다.
• 프레임워크는 Fetch 및 핸드맨리플레이션 환경을 포함한 OpenAI Gym 로봇 조작 슈트에서 평가되었으며, 성공률과 δS(안정성 지표)를 핵심 평가 지표로 사용했다.

실험 결과

연구 질문

• RQ1 최대 엔트로피 강화학습(MERL)을 뒤집어보기 경험 재생(HER)에 통합함으로써 희박 보상 로봇 제어 작업에서 학습 안정성과 수렴성을 향상시킬 수 있는가?
• RQ2 제안된 SHER 방법이 커리큘럼 학습이나 시범 데이터 없이 HER 및 그 변종(CHER)보다 더 나은 성능을 내는가?
• RQ3 MERL의 온도 하이퍼파라미터 α가 다양한 환경에서 SHER의 성능과 안정성에 어떤 영향을 미치는가?
• RQ4 SHER는 랜덤 시드 간 성능 분산을 어느 정도 감소시켜 내구성을 향상시키는가?
• RQ5 SHER의 확률적 추론은 다중목표 RL 환경에서 더 일관되고 신뢰할 수 있는 정책 학습을 이끌 수 있는가?

주요 결과

• SHER는 OpenAI Gym 로봇 조작 벤치마크에서 모든 8개 환경에서 HER 및 CHER를 뛰어넘는 최신 기준 성능을 달성했다. 특히 가장 도전적인 핸드맨리플레이션 작업에서 뛰어난 성능을 보였다.
• HandManipulateEggFull 환경에서 SHER는 평균 성공률 0.098을 기록했으며, HER(0.145)와 CHER(0.109)를 모두 초월해 고난이도 작업에서 뛰어난 성능을 입증했다.
• 모든 작업에서 SHER는 HER 및 CHER보다 더 빠른 수렴을 보였으며, 학습 곡선은 더 매끄럽고 일관된 학습 진전을 보였다.
• 안정성 지표 δS(학습 성공률와 테스트 성공률의 절대 차이)는 8개 환경 중 7개에서 SHER가 더 낮게 나타나, 랜덤 시드 간 분산이 줄어들고 내구성이 향상됨을 시사했다.
• 온도 하이퍼파라미터 α는 성능에 큰 영향을 미치며, FetchSlide 환경에서는 α = 0.05가 가장 우수한 결과를 내었고, α = 0.1은 성능이 악화되는 것으로 나타나, 하이퍼파라미터 조정의 중요성을 입증했다.
• SHER는 커리큘럼 학습이나 시범 데이터와 같은 보조 기법 없이도 CHER를 뛰어넘는 성능을 달성했으며, 이는 제안된 확률적 프레임워크 자체의 효과성을 입증한다.