[논문 리뷰] Offline Reinforcement Learning with Value-based Episodic Memory

Xiaoteng Ma, Yiqin Yang외 6명|arXiv (Cornell University)|2021. 10. 19.

Reinforcement Learning in Robotics참고 문헌 31인용 수 10

한 줄 요약

이 논문은 오프라인 강화학습에서 데이터 집합의 지지 영역 내에서 가치 함수를 엄격히 학습함으로써 외삽 오차를 방지하는, 가치 기반 에피소딕 메모리(Value-based Episodic Memory, VEM)를 제안한다. Expectile V-Learning(EVL)을 사용하여, 오프라인 트레이너리의 경로를 암묵적으로 계획함으로써 VEM은 특히 희박 보상 환경에서 뛰어난 성능을 달성하며, D4RL 벤치마크에서 최신 기준(SOTA)을 초월한다. 이는 개선된 가치 추정 안정성과 수렴성으로 이어진다.

ABSTRACT

Offline reinforcement learning (RL) shows promise of applying RL to real-world problems by effectively utilizing previously collected data. Most existing offline RL algorithms use regularization or constraints to suppress extrapolation error for actions outside the dataset. In this paper, we adopt a different framework, which learns the V-function instead of the Q-function to naturally keep the learning procedure within the support of an offline dataset. To enable effective generalization while maintaining proper conservatism in offline learning, we propose Expectile V-Learning (EVL), which smoothly interpolates between the optimal value learning and behavior cloning. Further, we introduce implicit planning along offline trajectories to enhance learned V-values and accelerate convergence. Together, we present a new offline method called Value-based Episodic Memory (VEM). We provide theoretical analysis for the convergence properties of our proposed VEM method, and empirical results in the D4RL benchmark show that our method achieves superior performance in most tasks, particularly in sparse-reward tasks.

연구 동기 및 목표

• 데이터셋의 지지 영역을 벗어나는 행동을 피하여 오프라인 강화학습에서 외삽 오차 문제를 해결하기 위해.
• 행동 복제와 최적 가치 학습을 균형 있게 유지하는 안정적이고 보수적인 가치 학습 프레임워크를 개발하기 위해.
• 오프라인 트레이너리에 대한 암묵적 계획을 통해 장기 환경 및 희박 보상 작업에서의 정책 학습을 향상시키기 위해.
• 제안된 방법에 대해 제어된 편향과 분산을 갖는 이론적 수렴 보장을 제공하기 위해.
• 특히 도전적인 희박 보상 환경에서 D4RL 벤치마크에서 뛰어난 성능을 보여주기 위해.

제안 방법

• Bellman 기대치와 최적성 연산자 사이를 매끄럽게 보간하는 expectile 연산자를 기반으로 한 새로운 가치 학습 방법인 Expectile V-Learning(EVL)을 제안한다.
• 오프라인 트레이너리에 따라 암묵적으로 계획하는 가치 기반 에피소딕 메모리 메커니즘을 사용하여, 세계 모델이 필요 없이도 이점 추정을 향상시킨다.
• 새로운 이점 함수를 사용하여 정책을 회귀 방식으로 학습함으로써, 알려지지 않은 행동에서 기인하는 부트스트랩 오차를 피한다.
• 행동 복제와 최적 가치 학습을 균형 있게 유지하기 위해 expectile 손실에 중요한 초모수 τ를 사용한다.
• 관측된 오프라인 트레이너리에만 계획을 제한하는 메모리 기반 계획 방식을 도입하여 보수성을 확보한다.
• 이론적으로 수렴성을 분석하여, 낮은 농도율과 작은 固定点 편향을 갖는 수렴 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 데이터셋의 지지 영역 외부의 행동을 피하는 V-학습 프레임워크는 오프라인 RL에서 일반화 성능을 향상시키고 외삽 오차를 줄일 수 있는가?
• RQ2 expectile 기반 가치 학습은 연속적이고 미분 가능한 방식으로 이민 학습과 최적 가치 학습을 어떻게 균형 있게 조율할 수 있는가?
• RQ3 오프라인 트레이너리에 대한 암묵적 계획은 오프라인 RL에서 이점 추정을 향상시키고 수렴 속도를 높일 수 있는가?
• RQ4 제안된 방법은 D4RL 벤치마크의 희박 보상 작업에서 최신 기준(SOTA) 성능을 달성할 수 있는가?
• RQ5 expectile 초모수 τ는 가치 추정 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• VEM은 D4RL 벤치마크에서 최신 기준(SOTA) 성능을 달성하며, 특히 AntMaze와 Adroit와 같은 희박 보상 환경에서 뛰어난 성능을 보인다.
• 제거 실험을 통해 VEM이 정확한 가치 추정을 제공하고 외삽 오차에 대해 강건함을 입증하였으며, 가치 폭주와 불안정성 문제를 겪는 BCQ-EM을 능가한다.
• 특히 고차원 또는 좁은 지침 설정에서 극단치를 처리할 때, quantile 손실보다 expectile 손실이 더 안정적이다.
• 오프라인 트레이너리에 대한 암묵적 계획은 표준 n단계 가치 추정에 비해 수렴 속도를 크게 향상시킨다.
• EVL의 초모수 τ는 신중한 튜닝이 필요하다: 너무 높은 값(예: τ=0.9)은 과도한 추정과 성능 붕괴를 유도하며, 특히 pen-human와 같은 복잡한 작업에서 두드러진다.
• 이론적 분석을 통해 VEM이 낮은 농도율과 작은 고정점 편향을 갖는 수렴 가능성이 입증되어 안정성과 신뢰성에 기여한다.