[論文レビュー] Sample-Efficient Reinforcement Learning Is Feasible for Linearly Realizable MDPs with Limited Revisiting

Gen Li, Yuxin Chen+3 more|arXiv (Cornell University)|May 17, 2021

Advanced Bandit Algorithms Research参考文献 58被引用数 5

ひとこと要約

本稿では、線形的実現可能なMDPにおいて、制御された頻度の低い再訪問を許容することで、サンプル効率の良いオンライン強化学習プロトコルを提案する。著者らは、特徴次元、ホライズン、および逆数の部分最適性ギャップに比例する多項式的サンプル複雑性を達成する、特化したアルゴリズムを設計した。状態空間や行動空間のサイズに依存しない。これにより、生成モデルと標準的なオンラインRLとの間のギャップを埋めることに成功した。

ABSTRACT

Low-complexity models such as linear function representation play a pivotal role in enabling sample-efficient reinforcement learning (RL). The current paper pertains to a scenario with value-based linear representation, which postulates the linear realizability of the optimal Q-function (also called the "linear $Q^{\star}$ problem"). While linear realizability alone does not allow for sample-efficient solutions in general, the presence of a large sub-optimality gap is a potential game changer, depending on the sampling mechanism in use. Informally, sample efficiency is achievable with a large sub-optimality gap when a generative model is available but is unfortunately infeasible when we turn to standard online RL settings. In this paper, we make progress towards understanding this linear $Q^{\star}$ problem by investigating a new sampling protocol, which draws samples in an online/exploratory fashion but allows one to backtrack and revisit previous states in a controlled and infrequent manner. This protocol is more flexible than the standard online RL setting, while being practically relevant and far more restrictive than the generative model. We develop an algorithm tailored to this setting, achieving a sample complexity that scales polynomially with the feature dimension, the horizon, and the inverse sub-optimality gap, but not the size of the state/action space. Our findings underscore the fundamental interplay between sampling protocols and low-complexity structural representation in RL.

研究の動機と目的

• 線形関数近似のもとで、特に最適Q関数が線形的実現可能である場合に、強化学習におけるサンプル効率の課題に取り組むこと。
• 最適Q関数が線形的実現可能であるが、大きな部分最適性ギャップが存在しない状況において、オンラインRL設定でサンプル効率が達成可能かどうかを調査すること。
• 過去の状態への限定的で制御された再訪問を許容することで、柔軟性と実用性のバランスを取る、新しいサンプリングプロトコルを検討すること。
• 状態空間や行動空間のサイズに依存しない、主要な問題パラメータにおける多項式的サンプル複雑性を達成するアルゴリズムの開発

提案手法

• 標準的なオンラインRLと生成モデルの中間として、オンライン探索と、まれに制御された過去の状態への再訪問を組み合わせた、新しいサンプリングプロトコルを提案する。
• このプロトコルに特化したアルゴリズムを設計し、線形Q関数の実現可能性の構造と部分最適性ギャップを活用して、効率的な学習を促進する。
• 線形関数近似を用いた価値ベースの学習アプローチを採用し、最適Q関数が既知の特徴の線形空間に属すると仮定する。
• オンポリシーの遷移と、まれに発生する再訪問を統合した修正された更新ルールを採用し、推定の分散を低減する。
• 新しいプロトコル下でのアルゴリズムのサンプル複雑性を分析し、特徴次元、ホライズン、および部分最適性ギャップの逆数に対して多項式的スケーリングであることを証明する。
• アルゴリズムが状態空間や行動空間のサイズに指数的依存しないことを示す理論的境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルよりも実用的であるとされるサンプリングプロトコルのもとで、線形的実現可能なMDPにおいてサンプル効率の良い強化学習が達成可能か？
• RQ2 過去の状態への限定的で制御された再訪問を許容することで、部分最適性ギャップが存在する状況でも多項式的サンプル複雑性が達成可能か？
• RQ3 サンプリングプロトコルと構造的仮定（例：線形的実現可能性）の相互作用が、サンプル効率にどのように影響するか？
• RQ4 生成モデルが利用できない状況において、線形関数近似を用いたオンラインRLでサンプル効率を達成することは可能か？

主な発見

• 提案されたアルゴリズムは、特徴次元、ホライズン、および部分最適性ギャップの逆数に対して多項式的スケーリングのサンプル複雑性を達成する。
• サンプル複雑性は状態空間や行動空間のサイズに依存しないため、大規模または連続的空間へのスケーラビリティを示している。
• 制御された再訪問メカニズムにより、標準的なオンラインRLが失敗する状況でも、線形的実現可能性と部分最適性ギャップが存在する中でサンプル効率が達成可能である。
• 理論的分析により、新しいプロトコルが線形的実現可能なMDPにおいてサンプル効率の学習を可能にすることを確認し、生成モデルと標準的オンラインRLとの間のギャップを解消した。
• 結果から、構造的仮定（例：線形的実現可能性）と組み合わせた際、サンプリングプロトコルがサンプル効率の実現に不可欠であることが示された。
• アルゴリズムの性能は、新しいプロトコル下でも安定しており、特徴表現や部分最適性ギャップに関するややきつい仮定のもとでも、理論的保証が成り立つ。