[논문 리뷰] Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning

Ruizhe Shi, Yuyao Liu외 3명|arXiv (Cornell University)|2023. 10. 31.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 사전 훈련된 언어 모델(LMs)을 활용하여 오프라인 강화학습(offline RL)을 향상시키는 LaMo라는 프레임워크를 제안한다. LaMo는 LMs를 사용해 결합된 의사결정 변환기(Decision Transformers)를 초기화하고, LoRA를 통해 파라미터 효율적인 미세조정을 수행하며, 선형 투영을 비선형 MLP로 대체하고, 언어 예측 보조 손실을 추가한다. LaMo는 희소 보상 작업에서 최고 성능을 기록하며, 특히 저자료 환경에서 밸류 기반 방법과의 성능 격차를 크게 줄였다.

ABSTRACT

Offline reinforcement learning (RL) aims to find a near-optimal policy using pre-collected datasets. In real-world scenarios, data collection could be costly and risky; therefore, offline RL becomes particularly challenging when the in-domain data is limited. Given recent advances in Large Language Models (LLMs) and their few-shot learning prowess, this paper introduces $ extbf{La}$nguage Models for $ extbf{Mo}$tion Control ($ extbf{LaMo}$), a general framework based on Decision Transformers to effectively use pre-trained Language Models (LMs) for offline RL. Our framework highlights four crucial components: (1) Initializing Decision Transformers with sequentially pre-trained LMs, (2) employing the LoRA fine-tuning method, in contrast to full-weight fine-tuning, to combine the pre-trained knowledge from LMs and in-domain knowledge effectively, (3) using the non-linear MLP transformation instead of linear projections, to generate embeddings, and (4) integrating an auxiliary language prediction loss during fine-tuning to stabilize the LMs and retain their original abilities on languages. Empirical results indicate $ extbf{LaMo}$ achieves excellent performance in sparse-reward tasks and closes the gap between value-based offline RL methods and decision transformers in dense-reward tasks. In particular, our method demonstrates superior performance in scenarios with limited data samples.

연구 동기 및 목표

• 사용 가능한 데이터가 부족한 오프라인 강화학습 환경에서 사전 훈련된 언어 모델(LMs)을 활용하여 샘플 효율성을 향상시키는 데 목적을 두며.
• 기존 방법들이 의사결정 작업에서 LMs의 인덕티브 바이어스와 소수의 샘플 일반화 능력을 충분히 활용하지 못하는 한계를 극복하는 데 목적을 두며.
• 최소한의 파라미터 업데이트로 사전 훈련된 LM 지식을 유지하면서 오프라인 RL 환경에 효과적으로 적응할 수 있는 프레임워크를 설계하는 데 목적을 두며.
• 기본 오프라인 RL 방법이 어려움을 겪는 희소 보상 및 저자료 환경에서 성능을 향상시키는 데 목적을 두며.
• 다양한 환경에서의 추론 및 종합적 평가를 통해 LMs와 의사결정 변환기를 결합하는 효과를 검증하는 데 목적을 두며.

제안 방법

• 일반적인 세계 지식과 인덕티브 바이어스를 주입하기 위해 사전 훈련된 언어 모델(GPT-2 등)을 사용해 의사결정 변환기를 초기화한다.
• 파라미터 효율적인 미세조정을 위해 LoRA(Low-Rank Adaptation)를 적용하여 사전 훈련된 LM 가중치는 동결한 채 전체 모델 파라미터의 0.7%만 업데이트한다.
• 표준 선형 입력 임bedding과 출력 투영을 다층 퍼셉트론(MLPs)으로 대체하여 비선형 상태-행동 관계를 더 잘 포착한다.
• 미세조정 중에 보조 언어 예측 손실을 도입하여 훈련을 안정화시키고, LM의 원래 언어 이해 능력을 유지한다.
• 언어 기반 설명이 아닌 원시 상태 및 행동 관측값을 직접 처리함으로써 연속 제어 및 비전 기반 작업에 적용 가능하게 한다.
• MuJoCo, Kitchen, Atari 환경에서 다양한 데이터 비율을 활용해 샘플 효율성과 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델이 오프라인 강화학습에서 샘플 효율성을 향상시키는 데 효과적으로 활용될 수 있는가?
• RQ2 사전 훈련된 LMs로 의사결정 변환기를 초기화하고 LoRA를 통해 미세조정하면 기존 DT나 밸류 기반 방법보다 더 높은 성능을 낼 수 있는가?
• RQ3 비선형 MLP 투영과 보조 언어 손실은 LM 기반 오프라인 RL 에이전트의 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 특히 희소 보상 환경에서, LM 기반 모델은 저자료 환경에서 얼마나 일반화할 수 있는가?
• RQ5 사전 훈련된 지식을 LMs에서 통합함으로써 의사결정 변환기 기반과 밸류 기반 오프라인 RL 방법 간의 성능 격차를 줄일 수 있는가?

주요 결과

• LaMo는 D4RL 벤치마크에서 희소 보상 작업에서 최고 성능을 기록하여 의사결정 변환기와 보수적 Q-학습(CQL) 방법을 모두 압도한다.
• 밀도 높은 보상 작업에서는 LaMo가 의사결정 변환기 기반과 밸류 기반 방법 간의 성능 격차를 크게 줄였으며, 특히 낮은 데이터 비율에서 두드러진다.
• 1%의 데이터 가용성 조건에서 LaMo는 희소 보상 작업에서 평균 점수 36.7점을 기록했으며, DT(31.6)와 사전 훈련 없이 사용한 LaMo(23.3)를 모두 앞서며 뛰어난 데이터 효율성을 입증했다.
• 제거 실험 결과, 사전 훈련이 필수적임을 확인했다: 희소 보상 작업에서 이를 제거하면 평균적으로 10점 이상 성능이 떨어졌다.
• 비선형 MLP와 보조 언어 손실의 사용은 더 안정적인 훈련과 언어 능력의 우수한 유지로 이어졌으며, 이는 더 나은 제로샷 일반화 성능과 평가 시 더 낮은 분산을 통해 입증되었다.
• 무작위 가중치 초기화 상태에서도 더 큰 모델에 LoRA와 깊은 임베딩을 적용하면 표준 DT보다 뛰어난 성능을 보였으며, 이는 아키텍처 확장과 파라미터 효율적 적응이 별도로 유익함을 시사한다.