[論文レビュー] Pretraining in Deep Reinforcement Learning: A Survey

Zhihui Xie, Zichuan Lin+3 more|arXiv (Cornell University)|Nov 8, 2022

Reinforcement Learning in Robotics被引用数 11

ひとこと要約

本サーベイは、深層強化学習（DRL）における事前学習について包括的な概要を提供し、オンライン、オフライン、一般化型事前学習パラダイムの3つに方法を分類する。DRLにおける事前学習の主な課題であるサンプル効率、タスク特異性、データの多様性を特定し、スケーラブルで転送可能なDRLエージェントのための設計原則、アーキテクチャ、今後の研究方向性を提示する。

ABSTRACT

The past few years have seen rapid progress in combining reinforcement learning (RL) with deep learning. Various breakthroughs ranging from games to robotics have spurred the interest in designing sophisticated RL algorithms and systems. However, the prevailing workflow in RL is to learn tabula rasa, which may incur computational inefficiency. This precludes continuous deployment of RL algorithms and potentially excludes researchers without large-scale computing resources. In many other areas of machine learning, the pretraining paradigm has shown to be effective in acquiring transferable knowledge, which can be utilized for a variety of downstream tasks. Recently, we saw a surge of interest in Pretraining for Deep RL with promising results. However, much of the research has been based on different experimental settings. Due to the nature of RL, pretraining in this field is faced with unique challenges and hence requires new design principles. In this survey, we seek to systematically review existing works in pretraining for deep reinforcement learning, provide a taxonomy of these methods, discuss each sub-field, and bring attention to open problems and future directions.

研究の動機と目的

• オンライン、オフライン、一般化型パラダイムの3つの分野における深層強化学習における既存の事前学習手法を体系的かつ分類すること。
• 強化学習の逐次的かつ試行錯誤的な性質と限られた報酬信号に起因する、RL事前学習における独自の課題を特定すること。
• 事前学習がDRLにおけるサンプル効率、一般化性能、スケーラビリティの向上に果たす役割を強調すること。
• 大規模なRL事前学習のための未解決問題と設計原則を提示することで、今後の研究の基盤を提供すること。
• 自然言語処理（NLP）およびコンピュータビジョン（CV）における事前学習の成功と、RLにおけるその未開拓の可能性のギャップを埋めること。

提案手法

• DRLにおける事前学習を3つの主要なカテゴリに分類する：オンライン事前学習（報酬なしの相互作用から学習）、オフライン事前学習（劣化したまたはエキスパートのデモンストレーションを使用）、一般化型事前学習（多様でタスクに依存しないデータから学習）。
• 自己教師ありおよび対照的表現学習技術（例：アクション予測、将来の状態予測、状態-アクションペアの対照学習）が事前学習で用いられる分析。
• ワールドモデル事前学習のレビュー：ビデオや軌道データから環境のダイナミクスを学習することで、迅速な適応を可能にする。
• フォンドメンタルモデルとスケーリング則の使用の検討：NLPおよびCV分野の大規模モデルと類似点を明らかにする。
• ファインチューニング、プロンプトチューニング、報酬モデリングなどの適応技術を検討し、事前学習済み方策を下流タスクに適応させる。
• アーキテクチャ選択、データの多様性、転送性のための評価プロトコルを強調する統合フレームワークを提唱する。

実験結果

リサーチクエスチョン

• RQ1 DRLにおける事前学習は、タスク固有の訓練を完全に再開する必要を減らすために、どのようにサンプル効率を向上させ、迅速な適応を可能にするか？
• RQ2 教師あり学習やNLPと比較して、RLに事前学習を適用する際の主な違いと課題は何か？
• RQ3 オフラインおよびオンライン事前学習を活用することで、ゼロショットまたはフェイントショットの適応が可能な一般化型エージェントをどのように構築できるか？
• RQ4 スケーリングされたDRL事前学習の実現に最も効果的なアーキテクチャ的およびトレーニング設計は何か？
• RQ5 一般化型およびスケーラブルなRLエージェントのための事前学習における未解決問題と今後の研究方向性は何か？

主な発見

• DRLにおける事前学習は、サンプル効率を著しく向上させ、下流タスクへの迅速な適応を可能にし、広範なオンライン相互作用の必要性を削減する。
• 劣化したまたはエキスパートのデモンストレーションを用いたオフライン事前学習は、効果的な方策転送を可能にし、MOBAゲームやロボット操作といった複雑な環境で成功を収めている。
• 多様でタスクに依存しないデータと大規模モデルを用いた一般化型事前学習は、複数の分野にわたるゼロショットまたはフェイントショット一般化の可能性を示している。
• 将来の状態やアクションを予測するなどの対照的および自己教師あり表現学習技術は、転送可能な特徴を学習する上で優れた性能を示している。
• ワールドモデルやダイナミクス予測器を用いた事前学習により、報酬が疎な状況でも、計画と一般化が可能になる。
• スケーリング則とアーキテクチャ選択（例：トランスフォーマーに基づく方策）は、DRLにおける事前学習の潜在能力を解き放つために不可欠であり、最近のゲーム環境での超人クラスの結果がそれを裏付けている。