[논문 리뷰] Large Sequence Models for Sequential Decision-Making: A Survey

Muning Wen, Runji Lin외 7명|arXiv (Cornell University)|2023. 06. 24.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 종합 검토는 대규모 시퀀스 모델, 특히 트랜스포머를 순차적 결정 및 강화 학습에 어떻게 적용할 수 있는지 탐구한다. 최근의 진전을 종합하여 어텐션 메커니즘과 자동회귀 모델링이 표본 효율성, 책임 할당, 부분 관측성 처리 등 강화 학습의 핵심 과제들을 향상시키는 방식을 보여주며, 확장 가능한 결정 모델을 위한 아키텍처, 알고리즘, 훈련 시스템 분야의 향후 연구 방향을 규명한다.

ABSTRACT

Transformer architectures have facilitated the development of large-scale and general-purpose sequence models for prediction tasks in natural language processing and computer vision, e.g., GPT-3 and Swin Transformer. Although originally designed for prediction problems, it is natural to inquire about their suitability for sequential decision-making and reinforcement learning problems, which are typically beset by long-standing issues involving sample efficiency, credit assignment, and partial observability. In recent years, sequence models, especially the Transformer, have attracted increasing interest in the RL communities, spawning numerous approaches with notable effectiveness and generalizability. This survey presents a comprehensive overview of recent works aimed at solving sequential decision-making tasks with sequence models such as the Transformer, by discussing the connection between sequential decision-making and sequence modeling, and categorizing them based on the way they utilize the Transformer. Moreover, this paper puts forth various potential avenues for future research intending to improve the effectiveness of large sequence models for sequential decision-making, encompassing theoretical foundations, network architectures, algorithms, and efficient training systems. As this article has been accepted by the Frontiers of Computer Science, here is an early version, and the most up-to-date version can be found at https://journal.hep.com.cn/fcs/EN/10.1007/s11704-023-2689-5

연구 동기 및 목표

• 대규모 시퀀스 모델, 특히 트랜스포머가 순차적 결정 및 강화 학습(RL) 과제에 적합한지 조사하기.
• 시퀀스 모델링 기법이 장기적인 RL 과제인 표본 효율성, 책임 할당, 부분 관측성 문제를 어떻게 해결하는지 분석하기.
• 다양한 환경과 과제에서 트랜스포머를 활용한 결정 모델링을 위한 최근 접근법을 분류하고 검토하기.
• 모델 크기, 데이터, 계산 자원, 시스템 지원과 관련된 확장 가능한 결정 모델의 주요 제약 요인을 규명하기.
• 대규모 결정 모델을 위한 이론적 기초, 모델 아키텍처, 알고리즘, 효율적인 훈련 시스템 분야의 향후 연구 방향 제안하기.

제안 방법

• 마르코프 결정 과정(MDPs)을 사용하여 시퀀스 모델링과 순차적 결정 간의 관계를 수학적으로 정의한다.
• 트랜스포머 기반 아키텍처와 강화 학습에 대한 적응 방법을 검토하며, 장거리 의존성 모델링을 위한 자기 어텐션 메커니즘의 중요성을 강조한다.
• 트랜스포머를 결정 모델링 파이프라인에 통합하는 방식에 따라 기존 방법을 분류한다: 예를 들어 정책 모델링, 가치 함수 근사, 계획 수단 등.
• 행동 시퀀스와 상태 전이를 모델링하기 위한 자동회귀 생성의 역할을 분석하여 종단 간 학습을 가능하게 한다.
• 상태공간 모델링과 메모리 증강 트랜스포머와 같은 아키텍처 혁신을 검토하여 부분 관측 환경에서의 시퀀스 모델링 성능 향상에 기여한다.
• 대규모 결정 모델 훈련 시 시스템 수준의 과제를 논의한다: 데이터 효율성, 분산 훈련, 계산 비용 등.

실험 결과

연구 질문

• RQ1 대규모 시퀀스 모델, 예를 들어 트랜스포머는 강화 학습의 순차적 결정 과제에 어떻게 효과적으로 적용될 수 있는가?
• RQ2 트랜스포머의 어텐션 메커니즘은 강화 학습에서 표본 효율성, 책임 할당, 부분 관측성 처리에 어떻게 기여하는가?
• RQ3 최근의 트랜스포머 기반 결정 모델에서 사용된 주요 아키텍처 및 알고리즘 패턴은 무엇인가?
• RQ4 일반적인 의사결정 시스템으로서의 시퀀스 모델 확장에 있어 주요 제약 요인은 무엇인가?
• RQ5 순차적 결정에서 대규모 시퀀스 모델을 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 트랜스포머는 순차적 결정 과제에서 강력한 효과를 보이며, Gato 및 비디오 사전 훈련(VPT)과 같은 모델이 수백 가지 과제에서 일반화 능력을 입증했다.
• 자기 어텐션 메커니즘은 장거리 의존성과 맥락 유지 능력을 향상시켜 책임 할당과 결정 품질을 개선한다.
• 트랜스포머의 자동회귀 시퀀스 모델링은 정책과 가치 함수의 종단 간 학습을 지원하여 수작업 설계된 구성 요소에 대한 의존도를 감소시킨다.
• 대규모 시퀀스 모델은 사전 훈련과 인라인 학습을 활용하여 표본 효율성을 향상시켜, 하류 강화 학습 과제에서의 데이터 요구량을 줄인다.
• 진전이 있었음에도 불구하고, 훈련 효율성, 모델 확장성, 대규모 결정 모델에 대한 시스템 지원 측면에서 여전히 과제가 남아 있다.
• 향후 연구는 MDPs에서의 시퀀스 모델링 이론적 기초, 효율적인 아키텍처, 일반적인 의사결정 모델을 위한 확장 가능한 훈련 시스템에 집중해야 한다.