[論文レビュー] A Survey on Offline Reinforcement Learning: Taxonomy, Review, and Open Problems

Rafael Figueiredo Prudencio, Marcos R. O. A. Máximo+1 more|arXiv (Cornell University)|Mar 2, 2022

Reinforcement Learning in Robotics被引用数 31

ひとこと要約

オフライン強化学習手法の統一分類法を提案する総合的な調査で、統一表記によるアルゴリズムアプローチをレビューし、データセットとベンチマークを検討し、手法の性能を評価し、未解決問題と将来の方向性を概説する。

ABSTRACT

With the widespread adoption of deep learning, reinforcement learning (RL) has experienced a dramatic increase in popularity, scaling to previously intractable problems, such as playing complex games from pixel observations, sustaining conversations with humans, and controlling robotic agents. However, there is still a wide range of domains inaccessible to RL due to the high cost and danger of interacting with the environment. Offline RL is a paradigm that learns exclusively from static datasets of previously collected interactions, making it feasible to extract policies from large and diverse training datasets. Effective offline RL algorithms have a much wider range of applications than online RL, being particularly appealing for real-world applications, such as education, healthcare, and robotics. In this work, we contribute with a unifying taxonomy to classify offline RL methods. Furthermore, we provide a comprehensive review of the latest algorithmic breakthroughs in the field using a unified notation as well as a review of existing benchmarks' properties and shortcomings. Additionally, we provide a figure that summarizes the performance of each method and class of methods on different dataset properties, equipping researchers with the tools to decide which type of algorithm is best suited for the problem at hand and identify which classes of algorithms look the most promising. Finally, we provide our perspective on open problems and propose future research directions for this rapidly growing field.

研究の動機と目的

• オフラインRL手法を分類する統一的な分類法を導入し、構成要素が全体のアルゴリズムをどのように形成するかを明確にする。
• クラス別（モデルベース、ワンステップ、模倣学習）で最先端のオフラインRL手法を、表記の一貫性を保って包括的にレビューする。
• オフラインRLの既存のベンチマーク/データセットを評価・批評し、それらの望ましい特性と欠点を議論する。
• 特定の問題に対するアルゴリズム選択を導くため、データセット特性ごとの手法の性能概観を提示する。
• オフラインRLにおける未解決の課題を強調し、将来の研究方向を提案する。

提案手法

• データの利用方法（ダイナミクスモデル、軌道分布、または直接のモデルフリー学習）でオフラインRL手法を分類し、計画を用いるかポリシー学習を用いるかの観点で高レベルの分類法を提案する。
• ポリシー制約、正則化、不確実性推定項など、アルゴリズムの構成要素と損失を記述するために統一表記を用いる。
• クラス横断で文献をレビューし（モデルベース、ワンステップ、模倣学習）、基礎的論文、最近の記事、有望なプレプリントを議論する。
• データセット特性とベンチマーク実践を評価・要約し、望ましい特性と一般的な落とし穴を特定する。
• データセット特性別の手法の比較可視化（性能図）を提供し、特定のデータレジームに対するアルゴリズム選択を補助する。

実験結果

リサーチクエスチョン

• RQ1 すべての既存および新興アプローチを網羅するような、オフラインRL手法を分類する適切な分類法は何か？
• RQ2 さまざまなデータセット特性に対して、異なるオフラインRL手法はどのように性能を発揮するか、特定のデータレジームに対して最も有望なクラスはどれか？
• RQ3 オフラインRLが対処すべき主要な課題（例：分布シフト、未知動作(OOD)）は何で、それらを緩和する技術はどれか？
• RQ4 現在のオフラインRLベンチマークの限界は何で、望ましい特性を検証するためにデータセットをどう改善できるか？
• RQ5 オフラインRLを前進させる上で最も影響力のある未解決問題と将来の方向性は何か？

主な発見

• モデルベース、ワンステップ、模倣寄りのオフラインRL手法を含む新しい分類法が提案され、ポリシー制約、正則化、不確実性項などのさまざまな損失調整が含まれる。
• 環境との相互作用が欠如しているため分布シフトに直面し、挙動ポリシー制約、保守的価値推定、または不確実性ベースの計画などの技術を必要とする。
• データセット特性とベンチマークの欠点を分析し、研究者が適切な評価設定を選択し、手法が成功するデータレジームや失敗するデータレジームを特定するのに役立てる。
• 統一表記と包括的な文献レビューは、基礎となる作品と最近の作品の両方を網羅し、構成要素が性能にどのように寄与するかを明確にする。
• 特定された未解決問題には、オフポリシー評価(OPE)の改善、信頼できるオフライン RL ワークフローの確立、アルゴリズムの保守性の動的調整が含まれる。