[논문 리뷰] Keep Doing What Worked: Behavior Modelling Priors for Offline Reinforcement Learning

Noah Siegel, Jost Tobias Springenberg외 7명|arXiv (Cornell University)|2020. 04. 30.

Reinforcement Learning in Robotics참고 문헌 28인용 수 55

한 줄 요약

이 논문은 연속 제어에서 오프라인 강화 학습을 안정화하기 위해 과거 데이터에서 성공한 행동에 대한 경향을 갖는 행동 모델링 사전지식인 Advantage-Weighted Behavior Model(ABM)을 제안한다. 다양한 데이터 소스가 존재하는 상황에서도 경쟁적 기준 모델들보다 성능이 향상되며, 실제 로봇 학습 환경에서도 효과를 발휘한다.

ABSTRACT

Off-policy reinforcement learning algorithms promise to be applicable in settings where only a fixed data-set (batch) of environment interactions is available and no new experience can be acquired. This property makes these algorithms appealing for real world problems such as robot control. In practice, however, standard off-policy algorithms fail in the batch setting for continuous control. In this paper, we propose a simple solution to this problem. It admits the use of data generated by arbitrary behavior policies and uses a learned prior -- the advantage-weighted behavior model (ABM) -- to bias the RL policy towards actions that have previously been executed and are likely to be successful on the new task. Our method can be seen as an extension of recent work on batch-RL that enables stable learning from conflicting data-sources. We find improvements on competitive baselines in a variety of RL tasks -- including standard continuous control benchmarks and multi-task learning for simulated and real-world robots.

연구 동기 및 목표

• 연속 제어에 대해 표준 오프폴리시 강화 학습 알고리즘의 오프라인(배치) 설정에서의 불안정성을 해결한다.
• 새로운 환경 상호작용이 불가능한 상황에서 임의의 행동 정책으로부터 안정적인 학습을 가능하게 한다.
• 행동 정책에 대한 지식이 필요 없이도 과거 데이터를 활용해 고성능 행동으로의 정책 학습을 이끌어내는 방법을 개발한다.
• 고정된 데이터셋만을 사용하여 다중 작업 및 실제 로봇 학습 시나리오에서의 샘플 효율성과 성능을 향상시킨다.

제안 방법

• 과거 성공 기반으로 행동의 가능성도를 추정하는 행동 모델을 학습하며, 성능이 높은 행동을 우선시하기 위해 야드지스티브 가중치를 적용한다.
• ABM을 정책 최적화 목표에 사전지식으로 통합하여 데이터셋에서 성공한 행동으로의 학습 편향을 유도한다.
• ABM 사전지식을 활용한 오프폴리시 RL 알고리즘을 사용하여, 온라인 상호작용 없이도 고정된 데이터셋에서 안정적인 훈련을 가능하게 한다.
• 행동의 역사적 성능에 따라 행동을 가중치를 매김으로써 충돌하는 데이터 소스를 처리할 수 있도록 한다.
• 환경 롤아웃이 필요 없이 데이터셋 트레이젝터리로 ABM을 훈련하여 행동 사전지식을 모델링한다.
• ABM 사전지식을 기존 오프라인 RL 알고리즘(SAC 또는 TD3 등)과 결합하여 샘플 효율성과 최종 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 학습된 행동 사전지식이 연속 제어 작업에서 오프라인 강화 학습의 안정성과 성능을 향상시킬 수 있는가?
• RQ2 다양하거나 충돌하는 행동 정책을 포함한 데이터셋에서 ABM 사전지식은 기존 오프라인 RL 방법과 비교해 어떻게 성능을 낼 수 있는가?
• RQ3 ABM 사전지식은 다수의 작업과 실제 로봇 제어 환경 간에 얼마나 잘 일반화되는가?
• RQ4 ABM의 야드지스티브 가중치 메커니즘이 고정된 데이터셋에서 고성능 행동을 효과적으로 식별하고 우선시하는가?

주요 결과

• 제안된 방법은 MuJoCo 환경과 같은 표준 연속 제어 벤치마크에서 경쟁적 기준 모델들보다 일관된 성능 향상을 달성한다.
• ABM 사전지식은 데이터셋에 충돌하거나 열등한 행동 정책이 포함되어 있어도 안정적인 학습을 가능하게 한다.
• 모의 및 실제 로봇을 포함한 다중 작업 학습 시나리오에서 뛰어난 성능을 보여준다.
• 야드지스티브 가중치 기반 행동 모델은 새로운 작업에서 성공 가능성이 높은 행동을 효과적으로 식별하고 우선시한다.
• 추가적인 환경 상호작용이나 행동 모의 학습 전훈 없이도 최종 정책 성능을 향상시킨다.
• 다양한 데이터 분포에 걸쳐 일반화되며, 데이터셋 내 행동 정책의 다양성에 대해 강건함을 보인다.