[論文レビュー] Large Sequence Models for Sequential Decision-Making: A Survey

Muning Wen, Runji Lin+7 more|arXiv (Cornell University)|Jun 24, 2023

Machine Learning and Data Classification被引用数 4

ひとこと要約

本サーベイは、特にトランスフォーマーを用いた大規模なシーケンスモデルの、順序的意思決定および強化学習（RL）への応用を調査する。最近の進展を統合し、アテンション機構と自己回帰的モデリングが、サンプル効率性、信用配分、部分観測性の処理—RLにおける主要な課題—をどのように改善するかを示す。また、スケーラブルな意思決定モデルのためのアーキテクチャ、アルゴリズム、トレーニングシステム分野における今後の研究方向性を特定する。

ABSTRACT

Transformer architectures have facilitated the development of large-scale and general-purpose sequence models for prediction tasks in natural language processing and computer vision, e.g., GPT-3 and Swin Transformer. Although originally designed for prediction problems, it is natural to inquire about their suitability for sequential decision-making and reinforcement learning problems, which are typically beset by long-standing issues involving sample efficiency, credit assignment, and partial observability. In recent years, sequence models, especially the Transformer, have attracted increasing interest in the RL communities, spawning numerous approaches with notable effectiveness and generalizability. This survey presents a comprehensive overview of recent works aimed at solving sequential decision-making tasks with sequence models such as the Transformer, by discussing the connection between sequential decision-making and sequence modeling, and categorizing them based on the way they utilize the Transformer. Moreover, this paper puts forth various potential avenues for future research intending to improve the effectiveness of large sequence models for sequential decision-making, encompassing theoretical foundations, network architectures, algorithms, and efficient training systems. As this article has been accepted by the Frontiers of Computer Science, here is an early version, and the most up-to-date version can be found at https://journal.hep.com.cn/fcs/EN/10.1007/s11704-023-2689-5

研究の動機と目的

• 大規模なシーケンスモデル、特にトランスフォーマーが順序的意思決定および強化学習（RL）タスクに適しているかどうかを調査すること。
• シーケンスモデリング技術が、長年のRLの課題であるサンプル効率性、信用配分、部分観測性をどのように解決するかを分析すること。
• 多様な環境やタスクにおいてトランスフォーマーを意思決定に活用する最近のアプローチを分類・レビューすること。
• モデルサイズ、データ、計算、システム支援に関するスケーリングアップにおける意思決定モデルの主なボトルネックを特定すること。
• 理論的基盤、モデルアーキテクチャ、アルゴリズム、および大規模意思決定モデルのための効率的なトレーニングシステム分野における今後の研究方向性を提案すること。

提案手法

• マーカフ決定過程（MDPs）を用いて、シーケンスモデリングと順序的意思決定との間の関係を形式化する。
• トランスフォーマーに基づくアーキテクチャと、それらをRLに適応させる方法をレビューし、長距離依存関係モデリングに向けた自己アテンション機構の重要性を強調する。
• トランスフォーマーを意思決定パイプラインに統合する方法に応じて、既存の手法を分類する：例えば、方策モデリング、価値関数近似、計画。
• 行動シーケンスと状態遷移のモデリングにおける自己回帰的生成の役割を分析し、エンドツーエンド学習を可能にする。
• 状態空間モデリングやメモリ拡張型トランスフォーマーなどのアーキテクチャ的イノベーションが、部分観測環境におけるシーケンスモデリングをどのように改善するかを検討する。
• 大規模意思決定モデルのトレーニングにおけるシステムレベルの課題、例えばデータ効率性、分散トレーニング、計算コストを議論する。

実験結果

リサーチクエスチョン

• RQ1 大規模なシーケンスモデル、例えばトランスフォーマーは、強化学習における順序的意思決定タスクにどのように効果的に応用できるか？
• RQ2 トランスフォーマーのアテンション機構は、RLにおけるサンプル効率性、信用配分、部分観測性の処理をどのように改善するか？
• RQ3 最近のトランスフォーマーに基づく意思決定モデルで用いられる主なアーキテクチャ的およびアルゴリズム的パターンは何か？
• RQ4 シーケンスモデルを汎用的意思決定システムにスケーリングアップする際の主なボトルネックは何か？
• RQ5 順序的意思決定における大規模なシーケンスモデルの発展に向け、最も有望な今後の研究方向性は何か？

主な発見

• トランスフォーマーは順序的意思決定において強く効果的であることが示されており、Gato や Video Pre-Training (VPT) といったモデルが、数百のタスクにわたる一般化を実現している。
• 自己アテンション機構により、長距離依存関係と文脈の保持がより良くモデリングされ、信用配分と意思決定の質が向上する。
• トランスフォーマーにおける自己回帰的シーケンスモデリングは、方策および価値関数のエンドツーエンド学習を可能にし、手動で設計されたコンponentsへの依存を低減する。
• 大規模なシーケンスモデルは事前学習とコンテキスト内学習を活用することでサンプル効率性を向上させ、下流のRLタスクにおけるデータ要件を削減する。
• 進展は見られるが、トレーニング効率性、モデルスケーラビリティ、大規模意思決定モデルのためのシステム支援に関する課題は依然として残っている。
• 今後の研究は、MDPsにおけるシーケンスモデリングの理論的基盤、効率的なアーキテクチャ、および汎用的意思決定モデルのためのスケーラブルなトレーニングシステムに焦点を当てるべきである。