[논문 리뷰] A Minimalist Approach to Offline Reinforcement Learning

Scott Fujimoto, Shixiang Gu|arXiv (Cornell University)|2021. 06. 12.

Reinforcement Learning in Robotics참고 문헌 56인용 수 164

한 줄 요약

TD3+BC는 TD3에 단일 행동 복제 항(term)을 추가하고 데이터를 정규화하면 최첨단 오프라인 RL 성능과 맞먹으며 훨씬 더 낮은 복잡성과 계산으로 달성한다.

ABSTRACT

Offline reinforcement learning (RL) defines the task of learning from a fixed batch of data. Due to errors in value estimation from out-of-distribution actions, most offline RL algorithms take the approach of constraining or regularizing the policy with the actions contained in the dataset. Built on pre-existing RL algorithms, modifications to make an RL algorithm work offline comes at the cost of additional complexity. Offline RL algorithms introduce new hyperparameters and often leverage secondary components such as generative models, while adjusting the underlying RL algorithm. In this paper we aim to make a deep RL algorithm work while making minimal changes. We find that we can match the performance of state-of-the-art offline RL algorithms by simply adding a behavior cloning term to the policy update of an online RL algorithm and normalizing the data. The resulting algorithm is a simple to implement and tune baseline, while more than halving the overall run time by removing the additional computational overhead of previous methods.

연구 동기 및 목표

• 미니멀리스트 오프라인 RL 접근법으로 구현 및 하이퍼파라미터 부담을 줄이고자 한다.
• 추가 구성 요소 없이 온라인 알고리즘의 간단한 변화가 오프라인에서도 잘 작동하는지 조사한다.
• 데이터 정규화와 BC 항이 오프라인 학습의 안정성과 성능을 향상시킬 수 있음을 보여준다.
• 표준 벤치마크에서 최첨단 성능과 일치하는 쉽게 재현 가능한 baselines를 제공한다.

제안 방법

• 정책 업데이트에 행동 복제 정규화 항을 추가하여 TD3에서 시작한다.
• 데이터셋의 상태 특성을 평균 0, 분산 1이 되도록 정규화한다.
• BC/QL 균형을 위한 람다 스케일링을 도입한다: lambda = alpha / (1/N) sum|Q(s,a)| (미니배치별로 추정).
• 정규화 강도를 제어하기 위해 단일 하이퍼파라미터 alpha(기본값 2.5) 사용.
• 기본 TD3 업데이트를 넘어서 몇 줄의 코드만 바꿔서 변경을 최소화한다.

실험 결과

연구 질문

• RQ1 기반 온라인 알고리즘의 최소한의 변화로 깊은 RL 알고리즘을 오프라인에서도 효과적으로 만들 수 있는가?
• RQ2 간단한 BC 규제와 데이터 정규화만으로 표준 벤치마크에서 최첨단 오프라인 RL 방법과 일치할 수 있는가?
• RQ3 정규화와 BC 항이 오프라인 RL의 안정성 및 성능에 어떤 영향을 미치는가?

주요 결과

• TD3+BC는 D4RL MuJoCo 벤치마크에서 Fisher-BRC와 유사한 성능을 달성한다.
• TD3+BC는 CQL 및 Fisher-BRC보다 훨씬 적은 계산 시간 필요(전체 학습 시간의 대략 절반 이하).
• 상태 정규화는 오프라인 RL에서 비트아닌 안정성과 성능 이점을 제공한다.
• 단일 하이퍼파라미터(alpha)가 RL과 모방학습 간의 균형을 지배하며, 많은 설정에서 태스크 간 강건성을 보인다.