[論文レビュー] An Empirical Dynamic Programming Algorithm for Continuous MDPs

William B. Haskell, Rahul Jain+2 more|arXiv (Cornell University)|Sep 21, 2017

Reinforcement Learning in Robotics参考文献 29被引用数 4

ひとこと要約

本稿では、確率的関数近似と経験的ベルマン更新を用いて、連続状態のマルコフ決定過程（MDP）に対する普遍的な経験的動的計画法（DP）アルゴリズムを提案する。パラメトリックおよびノンパラメトリックな関数空間—具体的には、確率的パラメータ化された基底関数と再生核ヒルバート空間（RKHS）—を組み合わせ、サンプルベースの価値反復を用いることで、問題固有の基底関数選択を必要とせず、非漸近的なサンプル複雑度の上限と収束保証を達成する。

ABSTRACT

We propose universal randomized function approximation-based empirical value iteration (EVI) algorithms for Markov decision processes. The `empirical' nature comes from each iteration being done empirically from samples available from simulations of the next state. This makes the Bellman operator a random operator. A parametric and a non-parametric method for function approximation using a parametric function space and the Reproducing Kernel Hilbert Space (RKHS) respectively are then combined with EVI. Both function spaces have the universal function approximation property. Basis functions are picked randomly. Convergence analysis is done using a random operator framework with techniques from the theory of stochastic dominance. Finite time sample complexity bounds are derived for both universal approximate dynamic programming algorithms. Numerical experiments support the versatility and effectiveness of this approach.

研究の動機と目的

• 連続状態MDPに対して、ドメイン特有の基底関数選択を必要としない普遍的な近似動的計画法（ADP）手法の不足を補う。
• 事前知識なしに理論的性能保証を維持しつつ、計算的に実行可能で実装が容易なADPアルゴリズムを開発する。
• 確率的演算子フレームワークを用いて、連続状態MDPにおける価値関数近似の非漸近的サンプル複雑度の上限を導出する。
• 繰り返し適用される確率的演算子に確率的優位性技術を適用することで収束解析を可能にし、ロバスト性と実行可能性を確保する。
• 最小限のハイパーパrameterチューニングで、カート・ポールやアコブロットのベンチマーク制御問題において実験的に有効であることを示す。

提案手法

• 各ベルマン更新をサンプルされた次状態遷移から計算する経験的価値学習（EVL）を用い、ベルマン演算子を確率的演算子に変換する。
• パラメトリック手法では、各反復で基底関数のパラメータを確率的にサンプリングし、凸最適化によりフィッティングする。
• ノンパラメトリック手法では、ランダムにサンプリングされた状態からガウスカーネルを用いてRKHS内で基底関数を生成し、 essentially 無限次元空間での普遍的近似を実現する。
• 確率的優位性を用いた確率的演算子フレームワークを適用し、収束解析を可能にし、非漸近的サンプル複雑度の上限を導出する。
• 確率的関数近似と経験的ベルマン更新を組み合わせることで、計算コストを低減し、次元の呪いを緩和する。
• 標準的なPythonライブラリを関数フィッティングに活用し、実装の簡便性と既存の最適化ツールとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 連続状態MDPに対して、手動で選択された基底関数に依存しない普遍的なADPアルゴリズムを設計可能か？
• RQ2 確率的関数近似を用いた経験的動的計画法において、非漸近的サンプル複雑度の上限を導出可能か？
• RQ3 確率的パラメトリックおよびノンパラメトリック関数近似手法は、収束速度と計算効率の観点でどのように比較されるか？
• RQ4 滑らかさや正則性を仮定しない状況でも、提案手法がスアップノルム誤差の保証を達成可能か？
• RQ5 確率的基底関数を用いた経験的ベルマン更新は、一般条件下で安定性と収束性を維持可能か？

主な発見

• カート・ポール問題において、EVL+RPBFはFitted Value Iteration（FVI）とEVL+RKHSを上回り、平均エピソード長が長く、学習が速かった。
• EVL+RKHSは唯一のスアップノルム誤差に関するアルゴリズム的保証を提供したが、EVL+RPBFはLp誤差に関する保証を提供し、アコブロットタスクでは反復あたり平均3.67分の短縮を達成し、著しく高速であった。
• アコブロット問題において、EVL+RPBFはEVL+RKHSよりも優れた性能とより速い収束を達成し、誤差ノルムの保証と計算効率のトレードオフを示した。
• 確率的演算子フレームワークを用いることで、確率的リャプノフ法に依存せず、非漸近的サンプル複雑度の上限を達成した。
• 数値実験により、本手法の計算的実行可能性と多様なMDPへの汎用性が確認された。非滑らかまたは不規則な価値関数を有するMDPに対しても有効であった。
• 本手法の普遍性は、パラメトリック族とRKHSといった普遍的近似性を持つ関数空間の使用に起因し、任意の連続価値関数に対して任意の精度で近似可能であることを保証する。