[논문 리뷰] Q-learning Decision Transformer: Leveraging Dynamic Programming for Conditional Sequence Modelling in Offline RL

Taku Yamagata, Ahmed Khalil외 1명|arXiv (Cornell University)|2022. 09. 08.

Reinforcement Learning in Robotics인용 수 12

한 줄 요약

이 논문은 Q-학습 기반 동적 프rogramming 추정치를 활용해 오프라인 데이터셋 내 수익성으로 가는 값(Return-to-Go, RTG)을 재표기함으로써 결정 트랜스포머(Decision Transformer, DT)에 '패치 능력'(stitching capability)을 부여하는 하이브리드 오프라인 강화학습 방법인 Q-학습 결정 트랜스포머(QDT)를 제안한다. 이는 부분 최적의 경로들을 조합해 최적의 정책을 생성할 수 있도록 한다. QDT는 Q-학습의 강력한 책임 할당 능력과 DT의 시퀀스 모델링 능력을 융합함으로써, 희소 보상 및 장수명 과제를 포함한 다양한 환경에서 DT와 CQL보다 뛰어난 성능을 달성한다.

ABSTRACT

Recent works have shown that tackling offline reinforcement learning (RL) with a conditional policy produces promising results. The Decision Transformer (DT) combines the conditional policy approach and a transformer architecture, showing competitive performance against several benchmarks. However, DT lacks stitching ability -- one of the critical abilities for offline RL to learn the optimal policy from sub-optimal trajectories. This issue becomes particularly significant when the offline dataset only contains sub-optimal trajectories. On the other hand, the conventional RL approaches based on Dynamic Programming (such as Q-learning) do not have the same limitation; however, they suffer from unstable learning behaviours, especially when they rely on function approximation in an off-policy learning setting. In this paper, we propose the Q-learning Decision Transformer (QDT) to address the shortcomings of DT by leveraging the benefits of Dynamic Programming (Q-learning). It utilises the Dynamic Programming results to relabel the return-to-go in the training data to then train the DT with the relabelled data. Our approach efficiently exploits the benefits of these two approaches and compensates for each other's shortcomings to achieve better performance. We empirically show these in both simple toy environments and the more complex D4RL benchmark, showing competitive performance gains.

연구 동기 및 목표

• 결정 트랜스포머(DT)가 부분 최적의 경로들을 조합해 최적의 정책을 생성할 수 있도록 하는 '패치 능력'이 부족한 문제를 해결한다.
• 장수명 및 희소 보상 환경에서 Q-학습의 불안정성과 낮은 샘플 효율성 문제를 DT의 시퀀스 모델링 능력을 활용해 극복한다.
• 오프라인 데이터셋 내 수익성으로 가는 값(RTG)을 Q-학습을 통해 재표기하여 DT의 지도 학습 품질을 향상시킴으로써 오프라인 강화학습 성능을 개선한다.
• 기존 오프라인 강화학습 알고리즘을 아키텍처 재설계 없이도 향상시킬 수 있는 모델-프리(modal-free), 모듈러한 프레임워크를 개발한다.
• 간단한 격자 환경, Maze2D, 지연 보상이 존재하는 MuJoCo 환경을 포함한 다양한 환경에서 뛰어난 성능을 입증한다.

제안 방법

• 오프라인 데이터셋에서 Q-학습 에이전트(특히 CQL)를 학습시켜 각 상태-행동 쌍에 대한 최적의 수익성으로 가는 값(RTG)을 추정한다.
• Q-학습 추정치를 사용해 원본 오프라인 데이터셋의 RTG 값을 재표기하여 기존 RTG를 학습된 최적의 RTG 값으로 대체한다.
• 재표기된 데이터셋에서 결정 트랜스포머를 미세조정(fine-tune)함으로써, 이제는 Q-학습으로 추정한 RTG를 목표로 삼아 부분 최적의 경로들로부터 최적의 행동을 학습할 수 있도록 한다.
• Transformer의 자기주의 어텐션 메커니즘을 활용해 재표기된 RTG를 조건으로 하여 장수명의 상태-행동 시퀀스를 효과적으로 모델링한다.
• 두 단계 학습 프로세스를 사용한다: 먼저 데이터셋에서 Q-학습(CQL)을 학습하고, 그 다음 재표기된 데이터에서 DT를 사전학습 및 미세조정한다.
• 표준 D4RL MuJoCo 데이터셋을 사용하고 v0, v1, v2 버전에서 평가하여 복제 가능성 확보를 위해 기존 오프라인 강화학습 벤치마크와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 Q-학습 추정치는 결정 트랜스포머가 부분 최적의 경로들을 최적의 정책으로 조합할 수 있는 능력을 향상시키는가?
• RQ2 Q-학습을 활용해 오프라인 데이터셋 내 수익성으로 가는 값(RTG)을 재표기하면, 장수명 및 희소 보상 과제에서 더 나은 일반화 및 성능 향상이 이루어지는가?
• RQ3 각각의 방법이 알려진 약점이 있는 환경에서 제안된 QDT 프레임워크는 단독으로 사용된 DT 및 CQL보다 어떻게 비교되는가?
• RQ4 Q-학습과 DT를 융합한 모델-프리, 모듈러한 접근 방식은 아키텍처 재설계 없이도 엔드 투 엔드 아키텍처를 능가하는가?
• RQ5 Q-학습 추정치를 활용한 RTG 값 재표기 방식은 함수 근사가 적용된 오프-폴리시 설정에서 Q-학습의 불안정성을 어느 정도 완화하는가?

주요 결과

• QDT는 결정 트랜스포머가 부분 최적의 경로를 패치할 수 있도록 성공적으로 기능함으로써, 단순 격자 환경과 Maze2D에서 표준 DT의 핵심 한계를 해결한다.
• 단순한 환경에서 QDT는 최적의 성능를 달성하지만, DT는 패치 기능 부족으로 실패하고 CQL은 지연 보상으로 인해 어려움을 겪는다.
• 지연 보상이 존재하는 MuJoCo Walker2d 환경에서 QDT는 CQL보다 뚜렷이 뛰어난 성능를 보이며, CQL은 희소 보상 환경에서 효과적으로 학습하지 못한다.
• Maze2D 환경에서는 QDT가 DT의 성능를 향상시키지만 여전히 CQL에 비해 뒤처지며, 일부 과제에서는 향상 여지가 있음을 시사한다.
• Q-학습 추정치를 활용한 RTG 값 재표기로 더 정확하고 안정적인 가치 지도가 가능해져, 다양한 오프라인 강화학습 벤치마크에서 DT의 일반화 능력이 향상된다.
• D4RL 데이터셋 버전(v0, v1, v2) 간에서 뛰어난 복제 가능성과 실용성을 입증하며, 실제 환경에서의 적용 가능성도 높다.