[論文レビュー] Settling the Sample Complexity of Model-Based Offline Reinforcement Learning

Gen Li, Laixi Shi+3 more|arXiv (Cornell University)|Apr 11, 2022

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本稿では、バーンインコストが不要な状態空間が有限のMDPに対して、モデルベースのオフライン強化学習が最小最大最適なサンプル複雑度を達成することを確立している。これは、ベルンシュタインスタイルのペナルティを備えた懐疑的価値反復アルゴリズムを用いる。無限時horizon MDPではサンプル複雑度が $\frac{SC^\star_{\text{clipped}}}{(1-\gamma)^3\varepsilon^2}$、有限時horizon MDPでは $\frac{H^4SC^\star_{\text{clipped}}}{\varepsilon^2}$ であり、対数要因を除いて最小最大下界と一致する。

ABSTRACT

This paper is concerned with offline reinforcement learning (RL), which learns using pre-collected data without further exploration. Effective offline RL would be able to accommodate distribution shift and limited data coverage. However, prior algorithms or analyses either suffer from suboptimal sample complexities or incur high burn-in cost to reach sample optimality, thus posing an impediment to efficient offline RL in sample-starved applications. We demonstrate that the model-based (or "plug-in") approach achieves minimax-optimal sample complexity without burn-in cost for tabular Markov decision processes (MDPs). Concretely, consider a finite-horizon (resp. $γ$-discounted infinite-horizon) MDP with $S$ states and horizon $H$ (resp. effective horizon $\frac{1}{1-γ}$), and suppose the distribution shift of data is reflected by some single-policy clipped concentrability coefficient $C^{\star}_{ ext{clipped}}$. We prove that model-based offline RL yields $\varepsilon$-accuracy with a sample complexity of \[ \begin{cases} \frac{H^{4}SC_{ ext{clipped}}^{\star}}{\varepsilon^{2}} & ( ext{finite-horizon MDPs}) \frac{SC_{ ext{clipped}}^{\star}}{(1-γ)^{3}\varepsilon^{2}} & ( ext{infinite-horizon MDPs}) \end{cases} \] up to log factor, which is minimax optimal for the entire $\varepsilon$-range. The proposed algorithms are "pessimistic" variants of value iteration with Bernstein-style penalties, and do not require sophisticated variance reduction. Our analysis framework is established upon delicate leave-one-out decoupling arguments in conjunction with careful self-bounding techniques tailored to MDPs.

研究の動機と目的

• 環境との追加の相互作用が許可されないオフライン強化学習における分布シフトとデータカバレッジの制限という課題に対処する。
• 従来のモデルベースのオフライン強化学習手法における不適切なサンプル複雑度と高いバーンインコストを克服する。
• 無限時horizonおよび有限時horizonの状態空間が有限のMDPにおけるオフライン強化学習のサンプル複雑度の最小最大最適性を確立する。
• 単純な懐疑的モデルベースのアルゴリズムが、分散低減や複雑な正則化なしに最適性能を達成できることを示す。
• MDPに特化した、リーブ・ワン・アウト分解と自己バウンディング技術を用いた新規な分析フレームワークを提供する。

提案手法

• 不確実性を扱うためにベルンシュタインスタイルのペナルティを備えた懐疑的価値反復アルゴリズムである VI-LCB を提案する。
• 行動方策とターゲット方策の間の分布シフトを定量化するため、クリッピング済み濃度係数 $C^\star_{\text{clipped}}$ を導入する。
• モデルベース計画における価値関数推定の統計的依存性を処理するために、リーブ・ワン・アウト分解を用いる。
• オフラインデータを用いた反復的価値反復における誤差伝播を制御するために、自己バウンディング技術を適用する。
• 補助データセットとメインデータセットの二重サブサンプリングを用いて統計的依存性を解消し、解析を改善する。
• 混合時間 $t_{\text{mix}}$ と状態行動対のカバレッジを考慮した、洗練された濃度に関する議論を通じて理論的保証を確立する。

Figure 1: An illustration of prior works, where (a) is about discounted infinite-horizon MDPs and (b) is about finite-horizon MDPs. To facilitate comparisons, we replace $C^{\star}_{\mathsf{clipped}}$ with $C^{\star}$ in our results when drawing the plots given that $C^{\star}_{\mathsf{clipped}}\leq

実験結果

リサーチクエスチョン

• RQ1 モデルベースのオフライン強化学習は、バーンインや探索を要せず、状態空間が有限のMDPで最小最大最適なサンプル複雑度を達成できるか？
• RQ2 分布シフトをクリッピング済み濃度係数で測定した場合、オフライン強化学習の可能な限りタイトなサンプル複雑度は何か？
• RQ3 分散低減や複雑な正則化なしに、単純な懐疑的価値反復アルゴリズムが最小最大下界に一致できるか？
• RQ4 オフラインデータにおける統計的依存性は、モデルベースRLアルゴリズムの解析でどのように厳密に取り扱えるか？
• RQ5 混合時間 $t_{\text{mix}}$ は、マルコフ的データを用いたオフライン強化学習のサンプル複雑度にどのような役割を果たすか？

主な発見

• 提案された VI-LCB アルゴリズムは、無限時horizon MDPに対して $\varepsilon$-精度を達成するためのサンプル複雑度 $\frac{SC^\star_{\text{clipped}}}{(1-\gamma)^3\varepsilon^2}$ を達成し、対数要因を除いて最小最大下界と一致する。
• 有限時horizon MDPでは、サンプル複雑度が $\frac{H^4SC^\star_{\text{clipped}}}{\varepsilon^2}$ であり、対数要因を除いて最小最大最適である。
• 従来の手法が安定化させるために広範なデータを必要とするのとは異なり、本手法はバーンインコストなしに最適性能を達成する。
• 解析により、混合時間 $t_{\text{mix}}$ への依存は弱く、誤差バウンドに $\frac{t_{\text{mix}}SC^\star_{\text{clipped}}}{(1-\gamma)^2T}$ の項が現れることが示された。
• クリッピング済み濃度係数 $C^\star_{\text{clipped}}$ によって分布シフトが捉えられ、これはターゲット方策密度と行動方策密度の比を定量化する。
• 洗練されたリーブ・ワン・アウト分解と自己バウンディング技術を用いた新規な議論により、理論的保証が確立され、高度な分散低減の必要性が回避された。