[論文レビュー] Variance Reduced Value Iteration and Faster Algorithms for Solving Markov Decision Processes

Aaron Sidford, Mengdi Wang+2 more|arXiv (Cornell University)|Oct 27, 2017

Reinforcement Learning in Robotics参考文献 29被引用数 4

ひとこと要約

この論文は、割引マルコフ決定過程（DMDP）を解くために、ほぼ線形および非線形の時間計算量を達成する分散低減価値反復アルゴリズムを導入する。古典的価値反復と新規のサンプリングおよび分散低減技術を組み合わせることで、状態空間のサイズ、行動空間、割引係数、精度に依存する実行時間の改善を実現し、中間的な割引係数に対して、初めてほぼ線形収束性とほぼ線形時間のアルゴリズムを達成する。

ABSTRACT

In this paper we provide faster algorithms for approximately solving discounted Markov Decision Processes in multiple parameter regimes. Given a discounted Markov Decision Process (DMDP) with $|S|$ states, $|A|$ actions, discount factor $γ\in(0,1)$, and rewards in the range $[-M, M]$, we show how to compute an $ε$-optimal policy, with probability $1 - δ$ in time \[ ilde{O}\left( \left(|S|^2 |A| + \frac{|S| |A|}{(1 - γ)^3} ight) \log\left( \frac{M}ε ight) \log\left( \frac{1}δ ight) ight) ~ . \] This contribution reflects the first nearly linear time, nearly linearly convergent algorithm for solving DMDPs for intermediate values of $γ$. We also show how to obtain improved sublinear time algorithms provided we can sample from the transition function in $O(1)$ time. Under this assumption we provide an algorithm which computes an $ε$-optimal policy with probability $1 - δ$ in time \[ ilde{O} \left(\frac{|S| |A| M^2}{(1 - γ)^4 ε^2} \log \left(\frac{1}δ ight) ight) ~. \] Lastly, we extend both these algorithms to solve finite horizon MDPs. Our algorithms improve upon the previous best for approximately computing optimal policies for fixed-horizon MDPs in multiple parameter regimes. Interestingly, we obtain our results by a careful modification of approximate value iteration. We show how to combine classic approximate value iteration analysis with new techniques in variance reduction. Our fastest algorithms leverage further insights to ensure that our algorithms make monotonic progress towards the optimal value. This paper is one of few instances in using sampling to obtain a linearly convergent linear programming algorithm and we hope that the analysis may be useful more broadly.

研究の動機と目的

• 状態空間のサイズ、行動空間、割引係数、精度などの主要パラメータに依存する実行時間の改善を図り、近似的に割引マルコフ決定過程（DMDP）を高速に解くアルゴリズムを開発すること。
• 特に中間的な割引係数 γ の場合に、ほぼ線形時間計算量とほぼ線形収束性を達成すること。
• 提案されたアルゴリズムを有限時限MDPに拡張し、複数のパrameter領域で既存の非線形時間アルゴリズムを上回ること。
• サンプリングと分散低減技術を活用して、最適価値関数への単調な進捗を保証するとともに、高い確率での精度保証を維持すること。
• 古典的価値反復と現代の最適化技術を組み合わせることで、DMDPを解くための新しい計算複雑性ベンチマークを確立すること。

提案手法

• 著者らは、価値関数更新におけるノイズを低減するために、分散低減技術を近似価値反復に組み込むことで、収束を高速化する。
• 彼らは、O(1)時間で遷移をサンプリングする確率的アルゴリズムを導入し、分散低減された確率的近似を用いて、誤差が有界な価値関数推定値を計算する。
• 主な革新点は、価値関数の更新と遷移のサンプリングプロセスを分離するためのオフセットベクトルの使用であり、これによりより緊密な集中限界が得られる。
• 有限時限MDPでは、アルゴリズムが時限セグメントごとに分散低減価値反復を再帰的に適用し、再帰的ポリシー精錬戦略を用いる。
• ステップごとに確率的勾配の分散を厳密に制御し、信頼区間を用いることで、最適価値関数への単調な進捗を保証する。
• 理論的分析では、古典的価値反復の収束議論と現代の分散低減ツールを組み合わせ、高確率で成立する改善された実行時間バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 分散低減技術は、DMDPの価値反復に効果的に適用可能であり、収束速度と実行時間複雑性の両方を向上させることができるか？
• RQ2 高確率保証のもとで大規模DMDPを解く際、計算コストと精度の最適なトレードオフは何か？
• RQ3 遷移のサンプリングがO(1)時間で可能である場合、DMDPに対して非線形時間アルゴリズムを開発可能か？また、ε、γ、Mに依存する実行時間の依存関係は何か？
• RQ4 分散低減価値反復を有限時限MMDPに拡張する方法は何か？同時に高速収束性と低コストを維持できるか？
• RQ5 提案手法は、有界な直径やエルゴード性といった追加の構造的仮定を持つ設定へ一般化可能か？

主な発見

• ε-最適ポリシーを確率1−δで計算するための実行時間は、Õ((|S|²|A| + |S||A|/(1−γ)³) log(M/ε) log(1/δ)) であり、中間的なγに対して、初めてほぼ線形時間かつほぼ線形収束性を達成する。
• O(1)の遷移サンプリングを仮定した場合、アルゴリズムはε ∈ (0, M/√(1−γ)) の範囲で Õ(|S||A|M²/((1−γ)⁴ε²) log(1/δ)) 時間で実行され、状態空間および行動空間に対する非線形時間依存性を達成する。
• 有限時限MMDPでは、実行時間は Õ(|S|⁵/³|A|H⁵/³M²/³/ε²/³ log(|S||A|H/δ)) となり、複数のパrameter領域で先行手法を改善する。
• 提案された分散低減価値反復は、確率的更新における分散を制御することで、最適価値関数への単調な進捗を保証する。
• 古典的価値反復と現代のサンプリングおよび分散低減技術を組み合わせることで、DMDPを解くための新しい計算複雑性ベンチマークを確立する。
• 分析により、線形計画法アルゴリズムで線形収束性を達成するためにサンプリングを初めて用いることが示され、MMDPを超えた幅広い応用可能性を示唆する。