[논문 리뷰] Contextual Transformer for Offline Meta Reinforcement Learning

Runji Lin, Ye Li외 7명|arXiv (Cornell University)|2022. 11. 15.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 오프라인 메타강화학습에서 품질 높은 일반화 성능을 향상시키기 위해 프롬프트 토닝과 오프라인 트레이젝터리에서의 자기지도 사전학습을 활용하는 새로운 오프라인 메타강화학습 프레임워크인 컨텍스추얼 메타 트랜스포머(CMT)를 제안한다. 작업별 컨텍스트를 프롬프트로 간주함으로써 CMT는 D4RL, MuJoCo, SMAC 벤치마크에서 뛰어난 성능을 기록하며, 새로운 작업에 대해 제로샷 적응을 가능하게 한다.

ABSTRACT

The pretrain-finetuning paradigm in large-scale sequence models has made significant progress in natural language processing and computer vision tasks. However, such a paradigm is still hindered by several challenges in Reinforcement Learning (RL), including the lack of self-supervised pretraining algorithms based on offline data and efficient fine-tuning/prompt-tuning over unseen downstream tasks. In this work, we explore how prompts can improve sequence modeling-based offline reinforcement learning (offline-RL) algorithms. Firstly, we propose prompt tuning for offline RL, where a context vector sequence is concatenated with the input to guide the conditional policy generation. As such, we can pretrain a model on the offline dataset with self-supervised loss and learn a prompt to guide the policy towards desired actions. Secondly, we extend our framework to Meta-RL settings and propose Contextual Meta Transformer (CMT); CMT leverages the context among different tasks as the prompt to improve generalization on unseen tasks. We conduct extensive experiments across three different offline-RL settings: offline single-agent RL on the D4RL dataset, offline Meta-RL on the MuJoCo benchmark, and offline MARL on the SMAC benchmark. Superior results validate the strong performance, and generality of our methods.

연구 동기 및 목표

• 오프라인 강화학습에서 자기지도 사전학습과 효율적인 파인튜닝의 부족을 해결하기 위해.
• 학습 가능한 프롬프트로 작업 컨텍스트를 인코딩하여 메타강화학습에서 제로샷 및 패스트 샘플링 일반화 성능을 향상시키기 위해.
• 시퀀스 모델링 기반 오프라인 RL을 컨텍스트 프롬프트를 사용한 메타-RL 환경으로 확장하여 정책 전이 성능을 향상시키기 위해.
• 다양한 최종 작업에 대해 오프라인 데이터에서 사전학습하고 프롬프트 토닝을 통해 적응하는 통합 프레임워크를 개발하기 위해.

제안 방법

• 정책 프롬프트를 사용한 자동회귀 재구성 손실을 활용해 오프라인 트레이젝터리에서 트랜스포머 기반 모델을 사전학습한다.
• 프롬프트 토닝 도입: 학습 가능한 컨텍스트 벡터를 입력 시퀀스에 연결하여 정책 생성을 조건화한다.
• 유사한 트레이젝터리를 클러스터링하고 서로 다른 행동 양상에 대해 구분 가능한 프롬프트를 학습하기 위해 대비 손실을 사용한다.
• 파인튜닝 중에 분포 이탈과 과적합을 방지하기 위해 행동 제약 조건을 적용한다.
• 작업별 컨텍스트 시퀀스를 프롬프트로 사용하여 제로샷 적응을 위한 메타-RL로 프레임워크를 확장한다.
• 프롬프트 최적화 동안 계획을 위해 월드 모델을 활용하여 보상 추구 행동을 향상시킨다.

실험 결과

연구 질문

• RQ1 프롬프트 토닝은 오프라인 강화학습에서 샘플 효율성과 성능 향상에 기여하는가?
• RQ2 프롬프트 토닝은 새로운 메타-RL 작업 간 제로샷 적응을 얼마나 효과적으로 가능하게 하는가?
• RQ3 대비 손실과 행동 제약 조건은 프롬프트 품질과 정책 일반화에 어떤 영향을 미치는가?
• RQ4 최소한의 작업별 적응으로 시퀀스 모델링 접근 방식이 오프라인 메타-RL 문제를 효과적으로 해결할 수 있는가?
• RQ5 작업 프롬프트의 품질(예: 전문가, 중간 수준, 컨텍스트 없음)은 제로샷 성능에 어떤 영향을 미치는가?

주요 결과

• 프롬프트 토닝은 프롬프트 토닝 없이 기준 모델보다 평균 수익을 65.8% 향상시켰다.
• 대비 손실은 필수적이다: 계수를 10^-6으로 낮추면 프롬프트 클러스터링이 열악해져 평균 수익이 50.9% 감소한다.
• 행동 제약 조건은 필수적이다: 이를 제거하면(계수 = 0) 성능이 128% 감소하여 심각한 과적합이 발생함을 시사한다.
• 오프라인 작업 프롬프트(중간 수준 또는 전문가 수준)를 사용하면 온라인 컨텍스트를 사용한 제로샷 적응보다 각각 4%와 7% 성능 향상을 기록한다.
• 모든 구성 요소를 포함한 CMT 모델은 D4RL, MuJoCo, SMAC 벤치마크에서 최고 성능을 기록했다.
• CMT는 오프라인 메타-RL에 대해 시퀀스 모델링 기반의 첫 번째 방법으로, 다양한 환경에서 강력한 일반화 성능을 보였다.