[논문 리뷰] Transformers in Reinforcement Learning: A Survey

Pranav Agarwal, Aamer Abdul Rahman외 3명|arXiv (Cornell University)|2023. 07. 12.

Reinforcement Learning in Robotics인용 수 8

한 줄 요약

이 설문조사는 트랜스포머가 표현 학습, 전이 및 보상 모델링, 정책 최적화 전반에 걸쳐 어떻게 적용되는지 분석하고, 불안정성, 크레딧 할당, 부분 관찰성 등의 문제를 해결하는 방법을 다룬다.

ABSTRACT

Transformers have significantly impacted domains like natural language processing, computer vision, and robotics, where they improve performance compared to other neural networks. This survey explores how transformers are used in reinforcement learning (RL), where they are seen as a promising solution for addressing challenges such as unstable training, credit assignment, lack of interpretability, and partial observability. We begin by providing a brief domain overview of RL, followed by a discussion on the challenges of classical RL algorithms. Next, we delve into the properties of the transformer and its variants and discuss the characteristics that make them well-suited to address the challenges inherent in RL. We examine the application of transformers to various aspects of RL, including representation learning, transition and reward function modeling, and policy optimization. We also discuss recent research that aims to enhance the interpretability and efficiency of transformers in RL, using visualization techniques and efficient training strategies. Often, the transformer architecture must be tailored to the specific needs of a given application. We present a broad overview of how transformers have been adapted for several applications, including robotics, medicine, language modeling, cloud computing, and combinatorial optimization. We conclude by discussing the limitations of using transformers in RL and assess their potential for catalyzing future breakthroughs in this field.

연구 동기 및 목표

• 주요 RL 도전 과제와 트랜스포머가 이를 어떻게 다루는지 설명한다.
• 트랜스포머 변형과 RL 작업에의 적합성을 조사한다.
• 표현 학습, 전이/보상 모델링, 정책 학습에 걸친 트랜스포머 응용을 분류한다.
• 트랜스포머를 활용한 RL의 학습, 해석가능성, 효율성 향상에 대해 논의한다.
• RL에서 트랜스포머의 응용, 한계 및 향후 방향을 개략한다.

제안 방법

• RL 기본 원리와 트랜스포머 기초에 대한 구조화된 개요를 제공한다.
• 표현 학습, 전이 모델링, 보상 모델링, 정책 최적화를 위한 RL 워크플로에 트랜스포머가 어떻게 통합되는지 설명한다.
• 아키텍처 변형(BERT, GPT, ViT, Transformer-XL)과 그것들의 RL에 대한 시사점을 요약한다.
• 트랜스포머 기반 RL의 학습 전략과 해석 가능성 기법을 논의한다.
• 다양한 응용 분야와 향후 연구를 안내하기 위한 잠재적 한계를 조사한다.

Figure 1 . This survey presents a comprehensive overview of the use of transformers in RL . Modeling an RL policy may involve representation learning, modeling the transition function, reward function learning, and policy learning. Transformers can be used across all of these tasks.

실험 결과

연구 질문

• RQ1 트랜스포머가 RL에서 부분 관찰성 및 장기 크레딧 할당 문제를 어떻게 완화할 수 있는가?
• RQ2 RL 작업 및 데이터 모달리에 가장 적합한 트랜스포머 아키텍처와 구성은 무엇인가?
• RQ3 표현, 전이, 보상, 정책의 어떤 RL 단계에서 트랜스포머가 가장 큰 이점을 제공하는가?
• RQ4 훈련 및 해석 가능성 전략이 트랜스포머 기반 RL 방법을 향상시키는가?
• RQ5 RL에서 트랜스포머의 현재 한계와 향후 연구 방향은 무엇인가?

주요 결과

• 트랜스포머는 장기 의존성, 다중 모달 데이터 모델링, RL의 병렬화 가능한 학습에서 이점을 제공한다.
• 그들은 일부 일반화 설정에서 CNN보다 표현력이 뛰어난 표현을 생성하고 다중 작업 RL에서 특정 GNN 역할을 대체할 수 있다.
• 트랜스포머 기반 접근법은 메타-RL 및 메모리 풍부한 정책 학습을 지원하여 안정성과 적응성을 향상시킨다.
• 비전 트랜스포머는 RL 작업에 대한 이미지 기반 입력의 효과적 처리를 가능하게 한다.
• 트랜스포머의 확장성은 도메인에 걸친 일반적인 태스크에 구애받지 않는 에이전트의 가능성을 시사한다.

Figure 2 . a) The dot-product attention mechanism (for 4 embeddings of size 5 each). Input features ( $\mathbf{X}$ ) are processed using the key ( $\mathbf{K}$ ), query ( $\mathbf{Q}$ ), and value ( $\mathbf{V}$ ) tensors. Each query undergoes a dot product with every key, and the result is normaliz