[논문 리뷰] Q-value Regularized Transformer for Offline Reinforcement Learning

Shengchao Hu, Ziqing Fan외 5명|arXiv (Cornell University)|2024. 05. 27.

Elevator Systems and Control인용 수 4

한 줄 요약

이 논문은 행동 정책 분포와 학습된 Q-값을 모두 고려하여 동작 샘플링을 정규화함으로써 분포 이탈 위험을 줄이고 정책 일반화를 향상시키는 Q-값 정규화된 트랜스포머인 QT를 제안한다. 이는 조건부 시퀀스 모델링과 동적 프로그래밍을 이중 목적 손실을 통해 통합한 것으로, 행동 복제를 통한 정책 정규화와 최적 행동 선택을 위한 Q-값 최대화를 포함한다. D4RL 벤치마크에서의 실험 결과, 기존의 전통적 오프라인 RL 방법과 최신의 CSM 및 DP 접근법보다 우수한 성능을 기록하였으며, 장수명 및 희박 보상 환경에서 강력한 궤적 스티칭과 향상된 수익 정렬을 가능하게 하여 뛰어난 성능을 달성하였다.

ABSTRACT

Recent advancements in offline reinforcement learning (RL) have underscored the capabilities of Conditional Sequence Modeling (CSM), a paradigm that learns the action distribution based on history trajectory and target returns for each state. However, these methods often struggle with stitching together optimal trajectories from sub-optimal ones due to the inconsistency between the sampled returns within individual trajectories and the optimal returns across multiple trajectories. Fortunately, Dynamic Programming (DP) methods offer a solution by leveraging a value function to approximate optimal future returns for each state, while these techniques are prone to unstable learning behaviors, particularly in long-horizon and sparse-reward scenarios. Building upon these insights, we propose the Q-value regularized Transformer (QT), which combines the trajectory modeling ability of the Transformer with the predictability of optimal future returns from DP methods. QT learns an action-value function and integrates a term maximizing action-values into the training loss of CSM, which aims to seek optimal actions that align closely with the behavior policy. Empirical evaluations on D4RL benchmark datasets demonstrate the superiority of QT over traditional DP and CSM methods, highlighting the potential of QT to enhance the state-of-the-art in offline RL.

연구 동기 및 목표

• 샘플된 수익과 최적 수익 간의 일관성 부족으로 인해 기존의 조건부 시퀀스 모델링(CSM) 기법이 부분 최적의 궤적에서 최적 궤적을 스티칭하지 못하는 한계를 해결하기 위해.
• 장수명 및 희박 보상 환경에서 동적 프로그래밍(DP) 기법의 불안정성을 극복하기 위해 시퀀스 모델링과 통합함으로써.
• 트랜스포머의 궤적 모델링 능력과 Q-학습의 최적 수익 예측 능력을 융합한 통합 프레임워크를 개발하기 위해.
• 행동 정책 분포와 학습된 Q-값을 모두 고려하여 동작 샘플링을 정규화함으로써 정책 일반화를 향상시키고 분포 이탈 위험을 감소시키기 위해.
• 추가적인 환경 상호작용이나 별도의 행동 복제 구성 요소 없이도 오프라인 RL에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 이 방법은 상태-행동-보상 삼중항 시퀀스와 수익으로 가는 잔여 수익(RTG) 토큰을 조건으로 삼아 동작를 예측하는 트랜스포머 기반 정책을 사용한다.
• 이중 목적 학습 손실을 도입하여 행동 정책 분포를 일치시키는 조건부 행동 복제 항과 기대 수익을 최대화하기 위한 Q-값 정규화 항을 포함한다.
• Q-값 정규화 항은 각 상태-행동 쌍에 대한 최적의 미래 수익 추정치를 제공하는 공동으로 학습된 Q-네트워크에서 유도된다.
• 모델은 Q-값을 직접 동작 샘플링 과정에 통합하여 예측을 고보상 행동 쪽으로 편향시키면서도 행동 정책에 대한 충실도를 유지한다.
• Q-값 모듈을 통해 벨먼 백업 원리를 활용하면서도, 시뮬레이션된 궤적에 대한 지도학습에 의존함으로써 부트스트랩 불안정성을 피한다.
• 다양한 궤적을 통해 샘플된 동작의 기대 수익을 최적 수익과 정렬함으로써 효과적인 궤적 합성 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 Q-값 정규화를 적용한 트랜스포머 기반 정책는 기존의 표준 CSM 방법에 비해 오프라인 RL에서 궤적 스티칭 성능을 향상시키는가?
• RQ2 Q-값 정규화를 시퀀스 모델링 프레임워크에 통합할 경우, 장수명 및 희박 보상 오프라인 RL 과제에서의 성능에 어떤 영향을 미치는가?
• RQ3 Q-값 정규화는 행동 정책에 대한 충실도를 유지하면서 분포 이탈을 어느 정도 완화할 수 있는가?
• RQ4 행동 복제와 Q-값 최대화의 동시 최적화는 기존 오프라인 RL 기반 방법에 비해 더 높은 샘플 효율성과 일반화 성능을 달성하는가?
• RQ5 제안된 방법은 추가적인 행동 복제 또는 모델 기반 동역학 모델링 없이도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• QT는 다양한 D4RL 벤치마크 환경에서 기존의 전통적 동적 프로그래밍 및 조건부 시퀀스 모델링 방법을 모두 능가하는 최신 기술 수준의 성능을 기록하였다.
• 메서드는 부분 최적 데이터 시퀀스에서도 고수익 궤적을 효과적으로 합성할 수 있는 뛰어난 궤적 스티칭 능력을 보였다.
• Q-값 정규화 통합으로 인해 수익 정렬이 크게 향상되어, 동작 샘플링에서 기대 수익과 최적 수익 간의 격차가 감소하였다.
• 정책 정규화를 직접 시퀀스 모델링 목표에 통합함으로써, 명시적 행동 복제 또는 보수적 가치 함수 정규화가 필요 없어졌다.
• 실험 평가 결과, 기존 방법이 자주 실패하는 장수명 및 희박 보상 환경에서도 QT는 뛰어난 안정성과 성능 유지를 보였다.
• 제거 실험 결과, 행동 복제 및 Q-값 정규화 구성 요소 모두가 최적 성능 달성에 필수적이며, 각각 정책 안정성 향상과 수익 최대화에 독자적인 기여를 한다는 것이 확인되었다.