[論文レビュー] An Exponential Lower Bound for Linearly-Realizable MDPs with Constant Suboptimality Gap

Yuanhao Wang, Ruosong Wang+1 more|arXiv (Cornell University)|Mar 23, 2021

Advanced Bandit Algorithms Research参考文献 44被引用数 8

ひとこと要約

本稿は、定数のサブ最適性ギャップを有する線形的実現可能なMDPにおける強化学習の指数的サンプル複雑性下界を確立し、有利なギャップ仮定のもとでも、追加の構造的制約がなければオンラインRLが依然として困難であることを示している。この結果は、オンラインRLと生成モデル設定との間で指数的分離が生じることを明らかにし、同じ仮定のもとで生成モデル設定では多項式的サンプル複雑性が達成可能であることを示している。

ABSTRACT

A fundamental question in the theory of reinforcement learning is: suppose the optimal $Q$-function lies in the linear span of a given $d$ dimensional feature mapping, is sample-efficient reinforcement learning (RL) possible? The recent and remarkable result of Weisz et al. (2020) resolved this question in the negative, providing an exponential (in $d$) sample size lower bound, which holds even if the agent has access to a generative model of the environment. One may hope that this information theoretic barrier for RL can be circumvented by further supposing an even more favorable assumption: there exists a \emph{constant suboptimality gap} between the optimal $Q$-value of the best action and that of the second-best action (for all states). The hope is that having a large suboptimality gap would permit easier identification of optimal actions themselves, thus making the problem tractable; indeed, provided the agent has access to a generative model, sample-efficient RL is in fact possible with the addition of this more favorable assumption. This work focuses on this question in the standard online reinforcement learning setting, where our main result resolves this question in the negative: our hardness result shows that an exponential sample complexity lower bound still holds even if a constant suboptimality gap is assumed in addition to having a linearly realizable optimal $Q$-function. Perhaps surprisingly, this implies an exponential separation between the online RL setting and the generative model setting. Complementing our negative hardness result, we give two positive results showing that provably sample-efficient RL is possible either under an additional low-variance assumption or under a novel hypercontractivity assumption (both implicitly place stronger conditions on the underlying dynamics model).

研究の動機と目的

• 定数サブ最適性ギャップを仮定した場合でも、線形的実現可能なMDPにおける指数的サンプル複雑性下界が継続するかどうかを調査すること。
• Weiszら（2020）がオンラインRL設定で特定した硬さの障壁を、サブ最適性ギャップ仮定だけでは回避できないかどうかを同定すること。
• 低分散やハイパーコントラクト性といった追加の構造的仮定が、サンプル効率性を回復できるかどうかを調査すること。
• 線形的実現可能性とサブ最適性ギャップのもとで、オンラインRLと生成モデル設定との根本的なギャップを明確にすること。
• 線形的実現可能性と定数ギャップを越えて、サンプル効率的RLに必要な条件を確立すること。

提案手法

• 線形的実現可能な最適Q関数と定数サブ最適性ギャップを有するMDPの族を構築し、難易度を示す。
• 難易度の高いバンディット問題への還元を用いて、任意のアルゴリズムが特徴次元dに関して指数的多くのサンプルを必要とするこを示す。
• ハイパーコントラクト性の下での最小二乗回帰の新規解析を用いて、この仮定のもとで正の結果を得る。
• Duら（2019c）およびWeiszら（2020）の技術を適応し、和集合の上限をLemma 6に置き換えることで、難易度の高いMDP構築における推定誤差を制御する。
• 低分散仮定の下での正の結果と、動的システムに新たなハイパーコントラクト性条件を課した正の結果の2つを導入する。
• 下界で用いられた難易度の高いMDP族は、両方の仮定（低分散およびハイパーコントラクト性）を満たさないことを示し、これらが効率性のためには必要であることを示唆する。

実験結果

リサーチクエスチョン

• RQ1 オンラインRL設定において、定数サブ最適性ギャップを仮定した場合でも、線形的実現可能なMDPにおける指数的サンプル複雑性下界が継続するか？
• RQ2 生成モデルへのアクセスなしに、サブ最適性ギャップ仮定だけではオンラインRLにおけるサンプル効率的学習を保証できるか？
• RQ3 線形的実現可能性と定数ギャップのもとで、オンラインRLにおける多項式的サンプル複雑性を達成するために、どのような追加の構造的仮定が必要か？
• RQ4 同じ仮定のもとで、オンラインRL設定と生成モデル設定との間に指数的分離が存在するか？
• RQ5 低分散またはハイパーコントラクト性仮定は、MDPの複雑性の自然な特徴付けとして解釈可能か？

主な発見

• 定数サブ最適性ギャップと線形的実現可能性のもとでも、オンラインRLにおける指数的サンプル複雑性下界 $2^{\tilde{\theta}(\text{min}\nolimits\{d,H\})}$ が成立する。
• 生成モデルが存在しない状況でも下界が成立し、同じ仮定のもとでオンライン設定が生成モデル設定よりも指数的に難しいことを示している。
• 低分散仮定（仮定3）のもとではサンプル効率的RLが可能であるが、難易度の高いMDP族ではこの仮定に必要な定数 $C$ が指数的に大きくなる。
• ハイパーコントラクト性仮定（仮定4）のもとでもサンプル効率的RLが可能であるが、難易度の高いMDP族ではハイパーコントラクト性定数 $C_{\text{hyper}}$ が指数的に大きくなる。
• 下界で用いられた難易度の高いMDP族は指数的に小さな最小到達確率を持つが、最小到達確率 $\eta_{\text{min}} = 1$（完全到達可能性）に修正可能であり、その場合でも指数的下界が保持される。
• これらの結果から、低分散またはハイパーコントラクト性仮定は、線形的実現可能性と定数サブ最適性ギャップからは導けず、これらは効率性のためには必要であることが示唆される。