[論文レビュー] Provably Efficient Model-Free Constrained RL with Linear Function Approximation

Arnob Ghosh, Xingyu Zhou+1 more|arXiv (Cornell University)|Jun 23, 2022

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿は、線形関数近似を用いた制約付きマルコフ決定過程に対する、初めてのモデルフリーかつシミュレータフリーな強化学習アルゴリズムを提案する。$×{\tilde{\mathcal{O}}}(\sqrt{d^{3}H^{3}T})$ のレグレットと制約違反のバウンドを達成する。モデル推定やシミュレータを必要とせず、修正されたLSVI-UCBフレームワークにおいて、プライマルデュアル最適化とソフトマックス方策を組み合わせることで、モデル推定なしに一様な集中性と楽観性を実現する。

ABSTRACT

We study the constrained reinforcement learning problem, in which an agent aims to maximize the expected cumulative reward subject to a constraint on the expected total value of a utility function. In contrast to existing model-based approaches or model-free methods accompanied with a `simulator', we aim to develop the first model-free, simulator-free algorithm that achieves a sublinear regret and a sublinear constraint violation even in large-scale systems. To this end, we consider the episodic constrained Markov decision processes with linear function approximation, where the transition dynamics and the reward function can be represented as a linear function of some known feature mapping. We show that $ ilde{\mathcal{O}}(\sqrt{d^3H^3T})$ regret and $ ilde{\mathcal{O}}(\sqrt{d^3H^3T})$ constraint violation bounds can be achieved, where $d$ is the dimension of the feature mapping, $H$ is the length of the episode, and $T$ is the total number of steps. Our bounds are attained without explicitly estimating the unknown transition model or requiring a simulator, and they depend on the state space only through the dimension of the feature mapping. Hence our bounds hold even when the number of states goes to infinity. Our main results are achieved via novel adaptations of the standard LSVI-UCB algorithms. In particular, we first introduce primal-dual optimization into the LSVI-UCB algorithm to balance between regret and constraint violation. More importantly, we replace the standard greedy selection with respect to the state-action function in LSVI-UCB with a soft-max policy. This turns out to be key in establishing uniform concentration for the constrained case via its approximation-smoothness trade-off. We also show that one can achieve an even zero constraint violation while still maintaining the same order with respect to $T$.

研究の動機と目的

• 大規模システムにおける制約付き強化学習のための、保証付き効率的かつモデルフリーかつシミュレータフリーなアルゴリズムの欠如に対処する。
• 高次元または無限状態空間におけるモデルベース手法やシミュレータ依存アルゴリズムの限界を克服する。
• 線形関数近似を用いたエピソード型制約付きMDPにおいて、サブラインアーなレグレットと制約違反を達成する。
• 状態数に依存せず、特徴次元 $d$ のみに依存する性能保証を確立することで、大規模または無限状態空間へのスケーラビリティを実現する。
• 表形式設定を超えて汎用性を持ち、制約付きRLにおける関数近似をサポートするフレームワークを開発する。

提案手法

• 報酬最大化と制約満たしのバランスを図るために、LSVI-UCBアルゴリズムをプライマルデュアル最適化と統合して変更する。
• 双対変数で重み付けされた報酬Q関数と効用Q関数を組み合わせた合成Q関数を導入する。
• グリーディな行動選択を、一様な集中性を実現するための滑らかさ-近似のトレードオフを活用するソフトマックス方策に置き換える。
• レグレットと制約違反のトレードオフを動的に調整するための双対変数更新則を用いる。
• ソフトマックス方策の滑らかさを活用して、被覆数に依存しない値関数のための一様な集中性バウンドを確立する。
• 高確率の集中不等式と双対変数解析を用いて、レグレットと違反バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーかつシミュレータフリーなアルゴリズムが、線形関数近似を用いたエピソード型制約付きMDPにおいて、サブラインアーなレグレットと制約違反を達成できるか？
• RQ2 明示的なモデル推定やシミュレータなしに、制約付きRLにおける一様な集中性をどのように確立できるか？
• RQ3 制約付き探索において、グリーディな方策選択をソフトマックス方策に置き換えると、どのような影響を与えるか？
• RQ4 十分に大きな $T$ に対して、アルゴリズムがゼロの制約違反を達成しつつ、サブラインアーなレグレットを維持できるか？
• RQ5 バウンドが特徴次元 $d$、ホライズン $H$、合計ステップ数 $T$ に対してどのようにスケーリングされるか？

主な発見

• 提案されたアルゴリズムは、高確率で $×{\tilde{\mathcal{O}}}(\sqrt{d^{3}H^{3}T})$ のレグレットと $×{\tilde{\mathcal{O}}}(\sqrt{d^{3}H^{3}T})$ の制約違反を達成する。
• バウンドは状態数に依存しないため、無限または非常に大きな状態空間へのスケーラビリティを実現する。
• 遷移モデルの推定やシミュレータへのアクセスを必要とせず、先行研究とは明確に異なる。
• わずかなレグレットの増加を犠牲にすることで、$T$ が十分に大きくなると、制約違反がゼロに漸近的に収束する。
• ソフトマックス方策により、一様な集中性と近似-滑らかさのトレードオフが実現され、解析において極めて重要である。
• 事前に知られているモデルフリーな表形式アルゴリズムは状態数に多項式的に依存するが、本研究の結果はそれらを上回る。