[논문 리뷰] When should we prefer Decision Transformers for Offline Reinforcement Learning?

Prajjwal Bhargava, Rohan Chitnis외 3명|arXiv (Cornell University)|2023. 05. 23.

Evolutionary Algorithms and Applications인용 수 5

한 줄 요약

이 논문은 오프라인 강화학습에서 결정 트랜스포머(DT)가 Q-학습과 이민학습을 언제 초월하는지 조사한다. d4rl 및 robomimic 벤치마크에서의 경험적 평가를 통해 DT가 열악한 보상 데이터나 희박한 보상 데이터에 더 강건함을 발견하였으며, 더 많은 데이터가 필요하지만 저품질 또는 복잡한 환경에서 뛰어난 성능을 발휘한다. 데이터를 5배로 늘였을 때 아케이드 게임 점수는 평균 2.5배 향상된다.

ABSTRACT

Offline reinforcement learning (RL) allows agents to learn effective, return-maximizing policies from a static dataset. Three popular algorithms for offline RL are Conservative Q-Learning (CQL), Behavior Cloning (BC), and Decision Transformer (DT), from the class of Q-Learning, Imitation Learning, and Sequence Modeling respectively. A key open question is: which algorithm is preferred under what conditions? We study this question empirically by exploring the performance of these algorithms across the commonly used D4RL and Robomimic benchmarks. We design targeted experiments to understand their behavior concerning data suboptimality, task complexity, and stochasticity. Our key findings are: (1) DT requires more data than CQL to learn competitive policies but is more robust; (2) DT is a substantially better choice than both CQL and BC in sparse-reward and low-quality data settings; (3) DT and BC are preferable as task horizon increases, or when data is obtained from human demonstrators; and (4) CQL excels in situations characterized by the combination of high stochasticity and low data quality. We also investigate architectural choices and scaling trends for DT on Atari and D4RL and make design/scaling recommendations. We find that scaling the amount of data for DT by 5x gives a 2.5x average score improvement on Atari.

연구 동기 및 목표

• 오프라인 RL에서 시퀀스 모델링(결정 트랜스포머를 통한)이 Q-학습과 이민학습보다 언제 유리한지 결정하는 것.
• DT, CQL, BC의 강건성을 다양한 데이터 품질, 작업 복잡도, 환경 특성에 대해 평가하는 것.
• 실제 오프라인 RL 환경에서 DT를 구현할 때의 실용적 설계 권고 사항을 제공하는 것.
• 특히 아케이드 게임과 d4rl 환경에서 데이터 및 모델 크기의 스케일링 효과가 DT 성능에 어떻게 영향을 미치는지 조사하는 것.

제안 방법

• d4rl 및 robomimic 벤치마크에서 보수적 Q-학습(CQL), 행동 클로닝(BC), 결정 트랜스포머(DT)의 세 가지 접근 방식을 경험적으로 비교한다.
• 최상의 X% 또는 최악의 X%의 트레이젝터리를 사용하여 학습함으로써 데이터 품질을 체계적으로 변화시켜 열 劣한 데이터에 대한 강건성을 평가한다.
• 트레이젝터리 길이를 늘이고 액션 노이즈를 주입하여 오프라인 데이터셋에서의 탐색을 시뮬레이션함으로써 성능을 평가한다.
• 모델 크기와 데이터 양을 변화시켜 스케일링을 평가하고, 아케이드 및 d4rl 환경에서의 성능 향상을 측정한다.
• 모든 모델에서 표준 초모수 및 학습 프로토콜을 사용하여 공정한 비교를 보장한다.
• DT에서 수익률 도달 조건 및 컨텍스트 윈도우링을 분석하고, 학습률 및 컨텍스트 길이에 대한 아블레이션을 수행한다.

실험 결과

연구 질문

• RQ1 고품질 대비 저품질 데이터 서브셋에서 학습했을 때 DT, CQL, BC의 성능는 어떻게 변하는가?
• RQ2 트레이젝터리 길이와 액션 노이즈는 각 오프라인 RL 접근 방식의 강건성에 어떻게 영향을 미치는가?
• RQ3 상태공간 크기와 작업 수평을 기준으로 한 작업 복잡도는 세 가지 접근 방식의 상대적 성능에 어떻게 영향을 미치는가?
• RQ4 데이터 및 모델 크기에 따른 DT의 스케일링 법칙은 무엇이며, 아케이드 및 d4rl 환경에서 성능에 어떻게 영향을 미치는가?
• RQ5 어떤 설정에서 시퀀스 모델링이 Q-학습이나 이민학습보다 열 劣한 선택인가?

주요 결과

• 결정 트랜스포머를 통한 시퀀스 모델링은 Q-학습보다 데이터의 열 劣성에 더 강건하며, 특히 희박한 보상 및 저품질 데이터 환경에서 그러하다.
• DT는 경쟁적인 성능를 달성하기 위해 Q-학습보다 더 많은 데이터가 필요하지만, 데이터 품질 악화 상황에서 뚜렷한 일반화 성능 향상을 보인다.
• DT의 데이터 양을 5배로 늘였을 때 아케이드 환경에서 평균 점수 향상이 2.5배로 나타났다.
• 더 큰 DT 모델은 수렴하기 위한 학습 스텝 수가 적어져, 능력이 증가함에 따라 샘플 효율성이 향상됨을 시사한다.
• 인간 시범자로부터 데이터가 수집되거나 장기 수평 작업에서 DT와 이민학습이 Q-학습을 능가한다.
• 높은 상태공간 차원 수나 장기 작업 수평이 있는 환경에서는 DT는 강력한 성능를 유지하지만, Q-학습과 BC는 성능가 장악된다.