[논문 리뷰] Bootstrapped Transformer for Offline Reinforcement Learning

Kerong Wang, Hanye Zhao외 4명|arXiv (Cornell University)|2022. 06. 17.

Reinforcement Learning in Robotics인용 수 13

한 줄 요약

이 논문은 사전 훈련된 트랜스포머를 활용해 고신뢰도의 합성 트레이젝터리를 자가 생성하고, 이를 통해 훈련된 모델을 부트스트랩 루프에서 미세조정하는 새로운 오프라인 강화학습 방법인 부트스트랩드 트랜스포머(BooT)를 제안한다. 이 방법은 데이터 커버리지와 분포 일致성을 향상시켜 D4RL 벤치마크에서 강력한 베이스라인들을 능가하는 성능을 달성하며, 추가적인 보수성 또는 환경 모델링 없이도 성능 향상을 이룬다.

ABSTRACT

Offline reinforcement learning (RL) aims at learning policies from previously collected static trajectory data without interacting with the real environment. Recent works provide a novel perspective by viewing offline RL as a generic sequence generation problem, adopting sequence models such as Transformer architecture to model distributions over trajectories, and repurposing beam search as a planning algorithm. However, the training datasets utilized in general offline RL tasks are quite limited and often suffer from insufficient distribution coverage, which could be harmful to training sequence generation models yet has not drawn enough attention in the previous works. In this paper, we propose a novel algorithm named Bootstrapped Transformer, which incorporates the idea of bootstrapping and leverages the learned model to self-generate more offline data to further boost the sequence model training. We conduct extensive experiments on two offline RL benchmarks and demonstrate that our model can largely remedy the existing offline RL training limitations and beat other strong baseline methods. We also analyze the generated pseudo data and the revealed characteristics may shed some light on offline RL training. The codes are available at https://seqml.github.io/bootorl.

연구 동기 및 목표

• 오프라인 강화학습에서 데이터 커버리지 문제와 제한된 데이터셋 크기로 인해 시퀀스 모델의 효과적 훈련이 어려운 문제를 해결하기 위해.
• 외부 데이터 증강 또는 환경 동역학 모델링에 의존하지 않고도 분포 커버리지와 모델 일반화 능력을 향상시키는 방법을 개발하기 위해.
• 훈련된 시퀀스 모델에서 자가 생성한 트레이젝터리가 반복 부트스트랩을 통해 정책 성능 향상에 효과적으로 기여할 수 있는지 탐색하기 위해.
• 다양한 생성 및 부트스트랩 전략이 모델 성능과 훈련 안정성에 미치는 영향을 평가하기 위해.

제안 방법

• 이 방법은 오프라인 트레이젝터리의 상태-행동-보상 시퀀스를 공동 분포로 모델링하기 위해 사전 훈련된 트랜스포머를 사용하며, 이를 자동회귀 토큰 시퀀스로 간주한다.
• 모델이 학습한 분포에 조건을 두고 두 가지 방식으로 새로운 트레이젝터리를 생성한다: 자동회귀 생성과 티처포싱 기반 생성.
• 시퀀스의 가능도를 기반으로 고신뢰도의 생성된 트레이젝터리를 선별하고, 이를 부트스트랩 루프에서 모델 재훈련에 활용한다.
• 두 가지 부트스트랩 전략을 평가한다: 생성된 데이터에 대해 한 번의 미세조정과, 여러 훈련 루프에 걸쳐 생성된 데이터를 반복적으로 활용하는 전략.
• 모델가 자체로 학습한 분포를 활용함으로써 외부 데이터 증강이나 동역학 모델링을 피함으로써 일관되고 타당한 트레이젝터리를 생성한다.
• 부트스트랩 시작 임계값, 생성 비율, 시퀀스 길이와 같은 하이퍼파라미터를 분석하여 성능 최적화를 도모한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 시퀀스 모델에서 자가 생성한 트레이젝터리가 데이터가 부족한 환경에서 오프라인 RL 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 자기회귀 방식과 티처포싱 방식 간의 다른 생성 전략이 생성된 트레이젝터리의 품질과 유용성에 어떤 영향을 미치는가?
• RQ3 훈련 에포크와 데이터 비율 측면에서 부트스트랩의 최적 시기와 스케일는 무엇인가?
• RQ4 고신뢰도의 생성된 데이터를 사용할 경우, 무작위 또는 노이즈가 섞인 증강 기법과 비교해 분포 이탈을 줄이고 일반화 능력을 향상시키는가?

주요 결과

• BooT는 D4RL 오프라인 RL 벤치마크에서 최신 기준 성능을 달성하며, TD3+BC 및 SAC와 같은 강력한 베이스라인들을 크게 능가한다.
• 다양한 환경에서 뛰어난 안정성을 보이며, 특히 고속도에서 성능이 뛰어난 Gym 도메인에서는 온라인 RL 베이스라인 수준에 가까운 성능을 기록한다.
• 아블레이션 연구 결과, 너무 이르거나 너무 늦게 부트스트랩을 시작할 경우 성능이 떨어지며, 최적의 임계값은 훈련 에포크의 약 20% 지점에서 관찰된다.
• 생성 비율(η%)은 성능에 비단조화적인 영향을 미치며, 중간 수준에서 최고 성능를 기록함으로써 데이터 양과 품질 사이의 상충 관계를 시사한다.
• 생성 시 시퀀스 길이 T′ = 1을 사용할 경우 가장 우수한 성능를 기록함으로써, 짧고 고신뢰도의 시퀀스가 부트스트랩에 가장 효과적임을 시사한다.
• 생성된 데이터에 손실 가중 재훈련을 수행하면 무작위 재훈련보다 성능 향상이 이루어지지만, BooT는 여전히 이러한 개선된 베이스라인들을 능가함으로써 부트스트랩 메커니즘의 우수성을 입증한다.