[논문 리뷰] Advantage-Weighted Regression: Simple and Scalable Off-Policy Reinforcement Learning

Xue Bin Peng, Aviral Kumar외 2명|arXiv (Cornell University)|2019. 10. 01.

Reinforcement Learning in Robotics참고 문헌 29인용 수 165

한 줄 요약

AWR은 경험 재현을 활용하는 두 가지 감독 학습 단계(가치 회귀 및 이점 가중 정책 회귀)를 사용하는 간단한 오프폴리시 RL 알고리즘으로, OpenAI Gym 및 복잡한 모션 모방 작업에서 경쟁력 있는 결과를 달성합니다.

ABSTRACT

In this paper, we aim to develop a simple and scalable reinforcement learning algorithm that uses standard supervised learning methods as subroutines. Our goal is an algorithm that utilizes only simple and convergent maximum likelihood loss functions, while also being able to leverage off-policy data. Our proposed approach, which we refer to as advantage-weighted regression (AWR), consists of two standard supervised learning steps: one to regress onto target values for a value function, and another to regress onto weighted target actions for the policy. The method is simple and general, can accommodate continuous and discrete actions, and can be implemented in just a few lines of code on top of standard supervised learning methods. We provide a theoretical motivation for AWR and analyze its properties when incorporating off-policy data from experience replay. We evaluate AWR on a suite of standard OpenAI Gym benchmark tasks, and show that it achieves competitive performance compared to a number of well-established state-of-the-art RL algorithms. AWR is also able to acquire more effective policies than most off-policy algorithms when learning from purely static datasets with no additional environmental interactions. Furthermore, we demonstrate our algorithm on challenging continuous control tasks with highly complex simulated characters.

연구 동기 및 목표

• 간단하고 확장 가능한 감독 학습 손실 기반 오프폴리시 RL 알고리즘 개발
• 경험 재현을 통한 오프폴리시 데이터로 학습 가능하도록 안정적이고 제한된 업데이트를 제공
• 표준 벤치마크 및 모션 모방 과제에서 확립된 온폴리시 및 오프폴리시 방법과의 경쟁력 있는 성능 시연

제안 방법

• 두 단계의 감독 학습 업데이트: 보수에서 회귀를 통해 가치 함수를 맞춘 뒤, exp(A/β)을 가중치로 사용한 가중 회귀를 통해 정책을 맞춤.
• 이점 A(s,a) = R(s,a) - V(s)가 정책 업데이트를 안내합니다.
• AWR을 KL-발산 제약이 있는 기대 개선 최적화로 해석하는 제약된 정책 탐색으로의 도출.
• 경험 재현 버퍼를 통해 과거 정책들의 혼합으로 샘플링 정책을 모델링하여 오프폴리시 데이터로 확장.
• 저분산 보상 추정치를 위한 TD(λ) 사용 및 가중치의 클립으로 학습 안정화.
• 여러 정책의 과거 가치 함수의 가중 평균으로 계산된 기저 V̄(s)를 선택적로 사용.

실험 결과

연구 질문

• RQ1 간단한 회귀 기반의 오프폴리시 RL 알고리즘이 최소한의 복잡성으로 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 기저선과 경험 재현의 도입이 안정성과 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 재생 버퍼 크기와 오프폴리시 데이터가 학습 품질에 미치는 영향은 무엇인가?
• RQ4 AWR이 고차원 연속 제어 및 모션 모방 과제까지 확장 가능한가?

주요 결과

작업	TRPO	PPO	DDPG	TD3	SAC	RWR	AWR (Ours)
Ant-v2	2901±85	1161±389	72±1550	4285±671	5909±371	181±19	5067±256
HalfCheetah-v2	3302±428	4920±429	10563±382	4309±1238	9297±1206	1400±370	9136±184
Hopper-v2	1880±337	1391±304	855±282	935±489	2769±552	605±114	3405±121
Humanoid-v2	552±9	695±59	4382±423	81±17	8048±700	509±18	4996±697
LunarLander-v2	104±94	121±49	-	-	-	185±23	229±2
Walker2d-v2	2765±168	2617±362	401±470	4212±427	5805±587	406±64	5813±483

• AWR은 OpenAI Gym 벤치마크에서 인기 있는 온폴리시 및 오프폴리시 방법과 비교하여 경쟁력 있는 결과를 달성합니다.
• AWR은 샘플 효율성 및 수렴 시점 성능에서 PPO 및 TRPO와 같은 순수 온폴리시 방법을 크게 능가합니다.
• AWR은 가치 업데이트와 정책 업데이트 모두에 단순 감독 회귀를 사용함에도 불구하고 많은 과제에서 SAC 및 TD3와 유사한 수렴 성능을 얻습니다.
• 기저선 V(s)와 경험 재현은 결정적이며 이를 제거하면 성능이 저하되고, 더 큰 재생 버퍼는 안정성 및 최종 성능을 향상시킵니다.
• AWR은 모션 모방 과제에서 정적 데이터셋으로부터의 완전한 오프폴리시 학습을 효과적으로 처리하며 certain 조건에서 RWR 및 PPO를 따라가거나 능가합니다.
• 도전적인 Humanoid-V2에서는 여전히 SAC보다 뒤처져 있어 매우 어려운 과제에서 개선의 여지가 있음을 시사합니다.