[論文レビュー] Is Plug-in Solver Sample-Efficient for Feature-based Reinforcement Learning?

Qiwen Cui, Lin F. Yang|arXiv (Cornell University)|Oct 12, 2020

Reinforcement Learning in Robotics参考文献 41被引用数 6

ひとこと要約

この論文は、アンカーステート仮定の下で特徴ベース強化学習において、プラグインソルバアプローチ—生成モデルから経験的モデルを構築し、その上で計画を実行する—が、サンプル効率的であることを確立している。最小最大サンプル複雑度が $ O(K/(1-\bar{\gamma})^3\epsilon^2) $ であることを証明しており、$ K $ は特徴次元で、状態空間および行動空間のサイズに依存しない。これは、MDPにおける線形関数近似において、ほぼ最適のサンプル効率性を示している。

ABSTRACT

It is believed that a model-based approach for reinforcement learning (RL) is the key to reduce sample complexity. However, the understanding of the sample optimality of model-based RL is still largely missing, even for the linear case. This work considers sample complexity of finding an $ε$-optimal policy in a Markov decision process (MDP) that admits a linear additive feature representation, given only access to a generative model. We solve this problem via a plug-in solver approach, which builds an empirical model and plans in this empirical model via an arbitrary plug-in solver. We prove that under the anchor-state assumption, which implies implicit non-negativity in the feature space, the minimax sample complexity of finding an $ε$-optimal policy in a $γ$-discounted MDP is $O(K/(1-γ)^3ε^2)$, which only depends on the dimensionality $K$ of the feature space and has no dependence on the state or action space. We further extend our results to a relaxed setting where anchor-states may not exist and show that a plug-in approach can be sample efficient as well, providing a flexible approach to design model-based algorithms for RL.

研究の動機と目的

• モデルベース強化学習におけるプラグインソルバが、特徴ベースMDPにおいてほぼ最適のサンプル複雑度を達成するかどうかを調査すること。
• 特に線形特徴設定における関数近似を伴うモデルベースRLの理論的理解のギャップを埋めること。
• 生成モデルとプラグイン計画を用いて $ \epsilon $-最適方策を見つける際の最小最大サンプル複雑度の境界を確立すること。
• アンカーステート仮定を超えて、より一般的な特徴条件へと結果を拡張すること。

提案手法

• プラグインソルバアプローチを提案：生成モデルから遷移モデルを推定し、任意のソルバを用いて経験的モデル上で計画を実行する。
• 価値関数が1次元多様体上にあるという事実を活用して、価値関数を近似するための補助MDPを導入する。
• ヘフディングの不等式と集中不等式を用いて、遷移行列の推定誤差を制御する。
• アンカーステート仮定を用いて特徴空間における非負性を保証し、よりタイトな一般化境界を得る。
• パrameter集合に対する離散化を用いて、真の価値関数と経験的価値関数の乖離をバウンドする。
• ベルマン作用素の再帰的適用と収縮の議論を用いて、サンプル複雑度の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 アンカーステート仮定の下で、特徴ベース強化学習におけるプラグインソルバアプローチはサンプル効率的か？
• RQ2 アンカーステート仮定の下で、$ \epsilon $-最適方策を見つける最小最大サンプル複雑度は何か？
• RQ3 アンカーステートが存在しない場合でも、プラグインアプローチはサンプル効率的を維持できるか？
• RQ4 サンプル複雑度は特徴次元 $ K $、割引因子 $ \gamma $、誤差許容度 $ \epsilon $ に対してどのようにスケーリングするか？
• RQ5 分析を有限ホライズンMDPおよび2人対戦型確率的ゲームへと拡張できるか？

主な発見

• アンカーステート仮定の下で、$ \epsilon $-最適方策を見つける最小最大サンプル複雑度は $ O(K/(1-\gamma)^3\epsilon^2) $ であり、状態空間および行動空間のサイズに依存しない。
• サンプル複雑度は、特徴次元 $ K $、割引因子 $ \gamma $、および所望の精度 $ \epsilon $ のみに依存する。
• プラグインアプローチはサンプル複雑度において最小最大最適性を達成しており、理論的下界と対数要因を除いて一致する。
• アンカーステートが存在しない緩和された設定では、サンプル複雑度は $ \widetilde{O}(K \cdot \text{poly}(1/(1-\gamma)))/\epsilon^2 $ となるが、依然として効率的かつスケーラブルである。
• 補助MDPの技術は、関数近似設定における標準的分析を妨げる統計的依存性を効果的に解消した。
• 結果は有限ホライズンMDPおよび2人対戦型ターンベース確率的ゲームへと拡張され、広範な適用可能性が示された。