[논문 리뷰] Hindsight Expectation Maximization for Goal-conditioned Reinforcement Learning

Yunhao Tang, Alp Kucukelbir|arXiv (Cornell University)|2020. 06. 13.

Reinforcement Learning in Robotics참고 문헌 57인용 수 7

한 줄 요약

이 논문은 목표조건부 강화학습을 변분 추론 문제로 공식화함으로써, 감독학습 업데이트를 통한 안정적인 정책 최적화를 가능하게 하는 확률론적 강화학습 프레임워크인 힌트의 기대최대화(Hindsight Expectation Maximization, hEM)를 소개한다. 후회 경험 재현을 중요도 샘플링으로 해석함으로써, hEM은 특히 고차원 이미지 입력에서 기존 기준선 방법들을 크게 능가하며, 희박 보상 환경에서 뛰어난 샘플 효율성과 안정성을 입증한다.

ABSTRACT

We propose a graphical model framework for goal-conditioned RL, with an EM algorithm that operates on the lower bound of the RL objective. The E-step provides a natural interpretation of how 'learning in hindsight' techniques, such as HER, to handle extremely sparse goal-conditioned rewards. The M-step reduces policy optimization to supervised learning updates, which greatly stabilizes end-to-end training on high-dimensional inputs such as images. We show that the combined algorithm, hEM significantly outperforms model-free baselines on a wide range of goal-conditioned benchmarks with sparse rewards.

연구 동기 및 목표

• 희박한 이진 보상 환경에서 전통적 방법이 책임 할당이 부족하여 실패하는 목표조건부 강화학습 에이전트 훈련의 과제를 해결한다.
• 고차원 입력(예: 이미지)에서 시간 차분 학습의 불안정성을 해결하기 위해 정책 최적화를 감독학습으로 재구성한다.
• 후회 경험 재현을 확률적 그래픽 모델 프레임워크 내에서 중요도 샘플링의 특수한 경우로 공식화한다.
• 다양한 작업과 입력 모odalities(이미지 기반 관측 포함)에 일반화되는 안정적인 종단 간 훈련 절차를 개발한다.

제안 방법

• 확률적 모델의 증거를 최대화하는 방식으로 목표조건부 강화학습 목표를 공식화함으로써, 최적화에 유용한 하한(ELBO)을 도출한다.
• E단계에서 후회 목표를 사용해 트레이젝터리를 재가중함으로써, 실패한 트레이젝터리를 다른 목표에 대해 성공으로 간주하는 방식으로, 희귀 사건에 대한 중요도 샘플링과 동치가 되도록 설계한다.
• M단계에서는 재가중된 트레이젝터리에 대해 감독학습 업데이트를 통해 정책 최적화를 수행함으로써, 고차원 입력(예: 이미지)에서의 훈련 안정성을 확보한다.
• hEM과 HER를 융합한 하이브리드 알고리즘을 도입하여, TD 기반 Q-학습과 hEM의 감독학습 기반 정책 업데이트를 결합한 가중 손실을 사용함으로써 샘플 효율성을 향상시킨다.
• 진짜 사후분포를 근사하기 위해 변분 사후분포 $ q_{\phi}(z \mid x) $ 를 도입함으로써, 증거 하한(ELBO)의 미분 가능한 최적화를 가능하게 한다.
• 정책을 사용해 트레이젝터리를 수집한 후, 후회 레이블링을 적용하여 다양한 목표조건부 경험을 생성하고, 이를 M단계에서 감독학습을 통해 정책을 훈련하는 데 사용한다.

실험 결과

연구 질문

• RQ1 후회 경험 재현을 확률적 추론의 중요도 샘플링 관점에서 공식적으로 해석할 수 있는가?
• RQ2 희박 보상 환경에서 고차원 관측 공간(예: 이미지)에서 정책 최적화의 안정성을 어떻게 향상시킬 수 있는가?
• RQ3 목표조건부 강화학습을 변분 추론 문제로 공식화할 경우, 표준 오프-폴리시 강화학습 방법보다 더 나은 샘플 효율성과 수렴 성능를 달성할 수 있는가?
• RQ4 EM 프레임워크는 HER와 감독학습의 장점을 융합하여 복잡한 로봇 작업에서 성능 향상을 이끌 수 있는가?

주요 결과

• hEM은 모든 벤치마크 작업에서 HER를 일관되게 능가하며, 특히 HER의 TD 기반 업데이트가 고차원 관측으로 인해 악화되는 이미지 기반 입력에서 두드러진 성능 향상을 보였다.
• 이미지 기반 목표를 가진 Fetch 로봇 및 Sawyer 로봇 작업에서 hEM은 상태 기반 목표 표현 수준의 성능를 달성하여 입력 모odal의 영향에 대해 강건함을 입증했다.
• 하이브리드 hEM-HER 알고리즘에서 $ \eta = 0.1 $ 일 때, 특히 복잡한 목표 공간을 가진 도전적인 Fetch 작업에서 HER만 사용하는 것보다 학습 속도가 약간 향상되었다.
• 더 큰 트레이젝터리 수집 크기 $ N $ 는 더 나은 성능를 이끌어내며, 목표 공간의 충분한 커버리지가 안정적 학습에 필수적임을 확인했다.
• hEM의 감독학습 기반 M단계는 특히 원시 픽셀에서 종단 간 훈련을 수행할 경우 HER의 TD-학습 업데이트보다 훨씬 더 안정적인 훈련을 제공한다.
• 이 방법은 목표조건부 강화학습 벤치마크 일괄 테스트에서 최고 성능를 기록했으며, 특히 고차원 입력과 희박 보상 설정에서 두각을 나타냈다.