[論文レビュー] Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems

Sergey Levine, Aviral Kumar+2 more|arXiv (Cornell University)|May 4, 2020

Reinforcement Learning in Robotics参考文献 190被引用数 791

ひとこと要約

このチュートリアルはオフライン強化学習（バッチRL）をレビューし、その問題設定、課題（特に深層関数近似器における分布シフト）を概説し、方法と未解決課題を調査します。

ABSTRACT

In this tutorial article, we aim to provide the reader with the conceptual tools needed to get started on research on offline reinforcement learning algorithms: reinforcement learning algorithms that utilize previously collected data, without additional online data collection. Offline reinforcement learning algorithms hold tremendous promise for making it possible to turn large datasets into powerful decision making engines. Effective offline reinforcement learning methods would be able to extract policies with the maximum possible utility out of the available data, thereby allowing automation of a wide range of decision-making domains, from healthcare and education to robotics. However, the limitations of current algorithms make this difficult. We will aim to provide the reader with an understanding of these challenges, particularly in the context of modern deep reinforcement learning methods, and describe some potential solutions that have been explored in recent work to mitigate these challenges, along with recent applications, and a discussion of perspectives on open problems in the field.

研究の動機と目的

• オフライン強化学習の問題とその動機を説明する。
• 深層関数近似器を用いた固定データセットからの学習における主要な課題を特定する。
• オフライン設定におけるアルゴリズムファミリー（ポリシー勾配、Q学習、アクタークリティック、モデルベース）を調査する。
• 今後の研究を導くための応用と未解決課題を議論する。

提案手法

• 行動方策によって収集された固定データセットからポリシーを学習するという形式としてオフラインRLを定式化する。
• MDPとPOMDPの定義を含む標準的なRLの前提を提示する。
• ポリシー勾配、近似動的計画法（Q学習と適合反復法）、アクタークリティック法、モデルベースアプローチの4つのアルゴリズムファミリーを説明し、対比する。
• オフラインデータがどのように分布シフトを誘発するか、そしてそれが収束と性能にどのように影響するかを説明する。
• アルゴリズムのレシピ（例：リプレイバッファを用いたQ学習；オフポリシーアクタークリティック）を提供し、それらのオフライン適応を議論する。

実験結果

リサーチクエスチョン

• RQ1 固定オフラインデータセットから最適ポリシーを学習する際の根本的な課題は何か？
• RQ2 オフライン設定における分布シフトに対処するために既存のRL手法をどのように適応させる必要があるか？
• RQ3 オフラインで使用する場合のQ学習、アクタークリティック、モデルベース法の関係と区別は何か？
• RQ4 オフラインRLを動機づける応用は何か、残る未解決問題は何か？
• RQ5 オフラインRLは医療、ロボティクス、対話システムなどの分野にどのように貢献できるか？

主な発見

• オフラインRLはオンライン相互作用なしに大規模に事前収集されたデータセットからポリシーを学習できるが、深層関数近似器を用いる場合は分布シフトと外挿誤差に直面する。
• Q学習、アクタークリティック、モデルベース法はオフライン利用に適応可能だが、実用的な成功には固定データ分布を考慮した緩和策がしばしば必要。
• ハイブリッドアプローチ（例：リプレイベースのQ学習、固定バッファを用いたオフポリシーアクタークリティック）は実践的なベースラインとして議論され、その限界が強調される。
• このチュートリアルは標準のDPとポリシー勾配の概念をオフライン設定に結びつけ、収束特性と限界を明確にする。
• 対話、ロボティクス、ナビゲーションにおける応用は、オフラインRL手法の潜在力と現状の限界を示している。