[論文レビュー] Sample-Efficient Reinforcement Learning for Linearly-Parameterized MDPs with a Generative Model
本稿は、生成モデルを用いた線形パラメータ化されたマルコフ決定過程（MDP）のための、サンプル効率の良い強化学習手法を提案する。$ K $次元の状態行動特徴量を用いた特徴量ベースの線形遷移モデルを活用することで、モデルベースRLと通常のQ学習が、それぞれ$ \widetilde{O}(K / (1-\gamma)^3\varepsilon^2) $および$ \widetilde{O}(K / (1-\gamma)^4\varepsilon^2) $のサンプル複雑度バウンドを達成することが示され、これらは証明可能なタイトさを持ち、状態空間および行動空間のサイズとは無関係である。
The curse of dimensionality is a widely known issue in reinforcement learning (RL). In the tabular setting where the state space <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>S</mml:mi></mml:math> and the action space <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>A</mml:mi></mml:math> are both finite, to obtain a nearly optimal policy with sampling access to a generative model, the minimax optimal sample complexity scales linearly with <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mo>|</mml:mo> <mml:mi>S</mml:mi> <mml:mo>|</mml:mo> <mml:mo>×</mml:mo> <mml:mo>|</mml:mo> <mml:mi>A</mml:mi> <mml:mo>|</mml:mo></mml:mrow> </mml:math> , which can be prohibitively large when <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>S</mml:mi></mml:math> or <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>A</mml:mi></mml:math> is large. This paper considers a Markov decision process (MDP) that admits a set of state-action features, which can linearly express (or approximate) its probability transition kernel. We show that a model-based approach (resp. Q-learning) provably learns an <i>ε</i>-optimal policy (resp. Q-function) with high probability as soon as the sample size exceeds the order of <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow><mml:mfrac><mml:mi>K</mml:mi> <mml:mrow> <mml:msup><mml:mrow><mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>-</mml:mo> <mml:mi>γ</mml:mi> <mml:mo>)</mml:mo></mml:mrow> <mml:mn>3</mml:mn></mml:msup> <mml:msup><mml:mi>ε</mml:mi> <mml:mn>2</mml:mn></mml:msup> </mml:mrow> </mml:mfrac> <mml:mrow><mml:mo>(</mml:mo> <mml:mrow><mml:mtext>resp</mml:mtext> <mml:mo>.</mml:mo> <mml:mspace></mml:mspace> <mml:mfrac><mml:mi>K</mml:mi> <mml:mrow> <mml:msup><mml:mrow><mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>-</mml:mo> <mml:mi>γ</mml:mi> <mml:mo>)</mml:mo></mml:mrow> <mml:mn>4</mml:mn></mml:msup> <mml:msup><mml:mi>ε</mml:mi> <mml:mn>2</mml:mn></mml:msup> </mml:mrow> </mml:mfrac> </mml:mrow> <mml:mo>)</mml:mo></mml:mrow> </mml:mrow> </mml:math> , up to some logarithmic factor. Here <i>K</i> is the feature dimension and <i>γ</i> ∈ (0, 1) is the discount factor of the MDP. Both sample complexity bounds are provably tight, and our result for the model-based approach matches the minimax lower bound. Our results show that for arbitrarily large-scale MDP, both the model-based approach and Q-learning are sample-efficient when <i>K</i> is relatively small, and hence the title of this paper.
研究の動機と目的
- 強化学習における次元の呪いに取り組むこと、特に状態空間および行動空間が大きいか無限大である場合に有効であるようにすること。
- 生成モデルを用いた線形遷移モデル下でのモデルベースRLとQ学習のサンプル効率を調査すること。
- 高次元MDPにおける$ \varepsilon $-最適方策およびQ関数の学習に際して、タイトなサンプル複雑度バウンドを確立すること。
- 線形遷移仮定下で、サンプル複雑度が状態空間および行動空間サイズ$ |\mathcal{S}| \times |\mathcal{A}| $ではなく、特徴次元$ K $に依存することを示すこと。
- モデルベース手法のサンプル複雑度においてミニマックス最適性を証明し、Q学習のサンプル複雑度が近似的に最適であることを示すこと。
提案手法
- 本稿は、遷移カーネル$ \mathbb{P}(\cdot|s,a) $が$ K $次元の特徴ベクトル$ \phi(s,a) $によって線形にパラメータ化される線形遷移モデルを仮定する。未知の行列$ \Psi \in \mathbb{R}^{|Σ| \times K} $が関与する。
- 生成モデルを用いてサンプルを収集し、モデルベース計画のための経験的MDPを構築する。
- モデルベースRLでは、経験的MDP上で価値反復を実行し、$ \varepsilon $-最適方策を計算する。
- Q学習では、探索を伴う標準的なQ学習更新を適用し、ロス・アラウンド技術を用いた収束解析を実施する。
- 線形モデルにおける推定誤差を制御し、方策およびQ関数の精度に関する高確率バウンドを導出するために、ロス・アラウンド解析を用いる。
- サンプル複雑度がモデルベースRLで$ \widetilde{O}(K / (1-\gamma)^3\varepsilon^2) $、Q学習で$ \widetilde{O}(K / (1-\gamma)^4\varepsilon^2) $にスケーリングされることを証明し、対数要因を除いてミニマックス下界と一致する。
実験結果
リサーチクエスチョン
- RQ1生成モデル下での線形パラメータ化MDPにおけるモデルベースRLのサンプル複雑度は何か？
- RQ2Q学習はこの設定でサンプル効率を達成できるか？ また、ミニマックス下界に対してそのサンプル複雑度はどのようになるか？
- RQ3サンプル複雑度は状態空間および行動空間のサイズに依存するのか、それとも特徴次元$ K $にのみ依存するのか？
- RQ4線形遷移モデルの構造は、大規模または無限大のMDPの有効な複雑度をどのように低減するか？
- RQ5提案されたモデルベース手法は、サンプル複雑度の観点でミニマックス最適か？
主な発見
- モデルベースRL手法は、高確率で$ \widetilde{O}(K / (1-\gamma)^3\varepsilon^2) $のサンプル数を用いて$ \varepsilon $-最適方策を達成でき、これは対数要因を除いてミニマックス下界と一致する。
- Q学習は、$ \widetilde{O}(K / (1-\gamma)^4\varepsilon^2) $のサンプル数を用いて、要素ごとの$ \varepsilon $-最適Q関数を正当に学習でき、先行研究を改善する。
- サンプル複雑度は$ |\mathcal{S}| $および$ |\mathcal{A}| $に依存せず、特徴次元$ K $にのみ依存する。このため、大規模MDPにおいてもサンプル効率が達成可能である。
- モデルベース手法はミニマックス最適であり、Q学習のサンプル複雑度は$ (1-\gamma)^{-4} $依存性を示すが、これは既存の下界と整合し、鋭いものである。
- 結果は生成モデルを仮定し、$ K $次元の特徴量を有する線形遷移モデルを想定しており、表形式および均一MDPを一般化する。
- 推定誤差を制御するための新規なロス・アラウンド技術に依拠しており、これにより方策およびQ関数の精度に関するタイトな高確率バウンドが可能になる。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。