[論文レビュー] A Sample-Efficient Algorithm for Episodic Finite-Horizon MDP with Constraints

Krishna C. Kalagarla, Rahul Jain+1 more|arXiv (Cornell University)|Sep 23, 2020

Formal Methods in Verification被引用数 12

ひとこと要約

本稿では、遷移確率が未知であるエピソード的有限ホライズン制約付きMDPに対して、サンプル効率の高いオンラインアルゴリズムUC-CFHを提案する。占有測度における線形計画法を用いた楽観的計画を活用することで、確率的近似的正しさ（PAC）の保証を達成し、サンプル複雑度が $\tilde{\mathcal{O}}\big{(}\frac{|\mathcal{S}||\mathcal{A}|C^{2}H^{2}}{\epsilon^{2}}\log\frac{1}{\delta}\big{)}$ となる。ここで $C$ は各状態行動ペアの最大後続状態数であり、高確率で $\epsilon$-最適な性能と制約の満たし方を保証する。

ABSTRACT

Constrained Markov Decision Processes (CMDPs) formalize sequential decision-making problems whose objective is to minimize a cost function while satisfying constraints on various cost functions. In this paper, we consider the setting of episodic fixed-horizon CMDPs. We propose an online algorithm which leverages the linear programming formulation of finite-horizon CMDP for repeated optimistic planning to provide a probably approximately correct (PAC) guarantee on the number of episodes needed to ensure an $ε$-optimal policy, i.e., with resulting objective value within $ε$ of the optimal value and satisfying the constraints within $ε$-tolerance, with probability at least $1-δ$. The number of episodes needed is shown to be of the order $ ilde{\mathcal{O}}\big(\frac{|S||A|C^{2}H^{2}}{ε^{2}}\log\frac{1}δ\big)$, where $C$ is the upper bound on the number of possible successor states for a state-action pair. Therefore, if $C \ll |S|$, the number of episodes needed have a linear dependence on the state and action space sizes $|S|$ and $|A|$, respectively, and quadratic dependence on the time horizon $H$.

研究の動機と目的

• 遷移確率が未知である状況下で、エピソード的有限ホライズンMDPにおける近似的最適方策の学習という課題に取り組む。
• オンライン学習中に、性能および制約の満たし方の両方について、確率的近似的正しさ（PAC）の保証を提供する。
• $\epsilon$-最適方策に到達するまでに必要なエピソード数を最小限に抑えることで、サンプル効率を達成する。
• 占有測度における新しい線形計画法の定式化を用いて、不確実性への楽観的アプローチ（optimism-in-the-face-of-uncertainty）を制約付きMDPに拡張する。
• サンプル複雑度における時間ホライズン $H$ への依存関係を、従来のレグレットに基づく定式化からの立方乗から二次乗に低減する。

提案手法

• アルゴリズムは、不確実性への楽観的アプローチの原則に従い、探索と活用のバランスを取る楽観的計画手法を用いる。
• 観測された軌道から統計的に妥当な遷移モデルの集合を構築し、時間経過とともに信頼区間を更新する。
• 楽観的な方策選択は、占有測度における線形計画法（LP）として定式化され、期待累積コストに関する制約を組み込む。
• アルゴリズムは、状態行動ペアが十分に多く訪問されるまで、楽観的な方策を複数エピソードにわたり実行し、訪問回数を更新して繰り返す。
• 濃度不等式を活用してモデルの不確実性を制限し、方策の品質および制約の満たし方に関する高確率保証を確保する。
• サンプル複雑度は、信頼区間の再帰的解析と、$m_1$ と $m$ を含む新しいパrameterization を用いた分析により導出され、$|\mathcal{S}|$, $|\mathcal{A}|$, $C$, $H$, $\epsilon$, および $\delta$ の観点からタイトな境界が得られる。

実験結果

リサーチクエスチョン

• RQ1 遷移確率が未知のエピソード的有限ホライズンCMDPにおいて、$\epsilon$-最適方策を保証するために必要な最小エピソード数は何か？
• RQ2 不確実性への楽観的アプローチは、保証付きPACの観点から、制約付きMDPに効果的に拡張可能か？
• RQ3 サンプル複雑度は、状態空間サイズ $|\mathcal{S}|$、行動空間サイズ $|\mathcal{A}|$、時間ホライズン $H$、および制約構造にどのように依存するか？
• RQ4 サンプル複雑度における時間ホライズン $H$ への依存関係を、立方乗から二次乗に低減できるか？
• RQ5 最大後続状態数 $C$ が、学習アルゴリズム全体のサンプル効率に与える影響は何か？

主な発見

• 提案されたUC-CFHアルゴリズムは、$\epsilon$-最適方策を確率 $1-\delta$ 以上で達成するためのサンプル複雑度 $\tilde{\mathcal{O}}\big{(}\frac{|\mathcal{S}||\mathcal{A}|C^{2}H^{2}}{\epsilon^{2}}\log\frac{1}{\delta}\big{)}$ を達成する。
• サンプル複雑度は時間ホライズン $H$ に対して二次的依存を示し、従来のレグレットに基づく定式化からの立方乗の境界を改善する。
• $C \ll |\mathcal{S}|$ の場合、アルゴリズムは $|\mathcal{S}|$ および $|\mathcal{A}|$ に対して線形的依存を示し、大規模な状態空間および行動空間へのスケーラビリティを実現する。
• アルゴリズムは、高確率で制約が $\epsilon$-許容範囲内に満たされることを保証し、制約違反に関する形式的保証を提供する。
• 分析により、エージェントが $\epsilon$-部分最適方策を実行するエピソード数が、高確率で導出されたサンプル複雑度によって上限づけられると示された。
• 生成モデルを必要とせず、観測された軌道のみに依存するため、実用的応用性が向上する。