[论文解读] Large Sequence Models for Sequential Decision-Making: A Survey

Muning Wen, Runji Lin+7 more|arXiv (Cornell University)|Jun 24, 2023

Machine Learning and Data Classification被引用 4

一句话总结

本综述探讨了大型序列模型（尤其是Transformer）在序列决策与强化学习中的应用。它整合了近期进展，表明注意力机制与自回归建模可提升样本效率、信用分配以及对部分可观察性的处理能力——这些是强化学习中的关键挑战。同时，本文也指出了在架构、算法与训练系统方面实现可扩展决策模型的未来研究方向。

ABSTRACT

Transformer architectures have facilitated the development of large-scale and general-purpose sequence models for prediction tasks in natural language processing and computer vision, e.g., GPT-3 and Swin Transformer. Although originally designed for prediction problems, it is natural to inquire about their suitability for sequential decision-making and reinforcement learning problems, which are typically beset by long-standing issues involving sample efficiency, credit assignment, and partial observability. In recent years, sequence models, especially the Transformer, have attracted increasing interest in the RL communities, spawning numerous approaches with notable effectiveness and generalizability. This survey presents a comprehensive overview of recent works aimed at solving sequential decision-making tasks with sequence models such as the Transformer, by discussing the connection between sequential decision-making and sequence modeling, and categorizing them based on the way they utilize the Transformer. Moreover, this paper puts forth various potential avenues for future research intending to improve the effectiveness of large sequence models for sequential decision-making, encompassing theoretical foundations, network architectures, algorithms, and efficient training systems. As this article has been accepted by the Frontiers of Computer Science, here is an early version, and the most up-to-date version can be found at https://journal.hep.com.cn/fcs/EN/10.1007/s11704-023-2689-5

研究动机与目标

• 调查大型序列模型（尤其是Transformer）在序列决策与强化学习（RL）任务中的适用性。
• 分析序列建模技术如何解决强化学习中长期存在的挑战：样本效率、信用分配与部分可观察性。
• 对近期利用Transformer进行决策的各类方法进行分类与综述，涵盖多样化的环境与任务。
• 识别在模型规模、数据、计算与系统支持方面扩展决策模型的主要瓶颈。
• 提出在理论基础、模型架构、算法与高效训练系统方面，推进大型决策模型的未来研究方向。

提出的方法

• 通过马尔可夫决策过程（MDPs）的形式化建立序列建模与序列决策之间的联系。
• 回顾基于Transformer的架构及其在强化学习中的适配，强调自注意力机制在建模长程依赖关系中的作用。
• 根据Transformer在决策流程中的整合方式对现有方法进行分类：例如策略建模、价值函数近似与规划。
• 分析自回归生成在建模动作序列与状态转移中的作用，支持端到端学习。
• 研究架构创新（如状态空间建模与记忆增强型Transformer）在部分可观察环境中的序列建模性能提升。
• 讨论大规模决策模型训练中的系统级挑战，包括数据效率、分布式训练与计算成本。

实验结果

研究问题

• RQ1 大型序列模型（如Transformer）如何被有效应用于强化学习中的序列决策任务？
• RQ2 Transformer中的注意力机制在强化学习中如何提升样本效率、信用分配与部分可观察性处理能力？
• RQ3 近期基于Transformer的决策模型中，关键的架构与算法模式有哪些？
• RQ4 将序列模型扩展为通用决策系统时，主要瓶颈是什么？
• RQ5 在推进大型序列模型于序列决策中的应用方面，哪些未来研究方向最具前景？

主要发现

• Transformer在序列决策中表现出强大有效性，如Gato与视频预训练（VPT）等模型已在数百项任务中展现出泛化能力。
• 自注意力机制有助于更好地建模长程依赖与上下文保留，从而改善信用分配与决策质量。
• Transformer中的自回归序列建模支持策略与价值函数的端到端学习，减少对人工设计组件的依赖。
• 通过预训练与上下文学习，大型序列模型可提升样本效率，降低下游强化学习任务的数据需求。
• 尽管已取得进展，训练效率、模型可扩展性与大规模决策模型的系统支持方面仍存在挑战。
• 未来研究应聚焦于MDPs中序列建模的理论基础、高效架构与通用决策模型的可扩展训练系统。