[論文レビュー] Randomized Linear Programming Solves the Discounted Markov Decision Problem In Nearly-Linear Running Time.

Mengdi Wang|arXiv (Cornell University)|Apr 6, 2017

Reinforcement Learning in Robotics被引用数 15

ひとこと要約

この論文は、価値-方策双対性を活用し、状態遷移の適応的サンプリングを用いて、割引付きマルコフ決定過程（MDP）をほぼ線形時間で解く確率的線形計画法アルゴリズムを提案する。同アルゴリズムは、正則MDPにおいて、状態行動ペair数に対して線形の実行時間で $\epsilon$-最適方策を達成し、確率的動的計画法の入力サイズに対する非線形な複雑さのベンチマークを提供する。

ABSTRACT

We propose a randomized linear programming algorithm for approximating the optimal policy of the discounted Markov decision problem. By leveraging the value-policy duality, the algorithm adaptively samples state transitions and makes exponentiated primal-dual updates. We show that it finds an $\epsilon$-optimal policy using nearly-linear running time in the worst case. For Markov decision processes that are ergodic under every stationary policy, we show that the algorithm finds an $\epsilon$-optimal policy using running time linear in the total number of state-action pairs, which is sublinear in the input size. These results provide new complexity benchmarks for solving stochastic dynamic programs.

研究の動機と目的

• 実行時間の複雑さを改善した、割引付きマルコフ決定過程（MDP）を解くスケーラブルなアルゴリズムの開発。
• 価値-方策双対性を活用し、状態遷移を適応的にサンプリングする確率的線形計画法の設計。
• 一般MDPにおける $\epsilon$-最適方策を求める際のほぼ線形実行時間の複雑さの確立。
• 正則MDPにおいて、状態行動ペair数に対して線形実行時間を達成し、入力サイズに対して非線形に抑える。
• 確率的動的計画法のための新しい複雑さベンチマークの提供。

提案手法

• アルゴリズムは、価値-方策双対性を用いてMDPを線形計画問題に再定式化する。
• 現在の方策推定に基づいて、状態遷移を適応的にサンプリングすることで計算オーバーヘッドを低減する。
• 指数型プライマルデュアル更新を適用し、反復的に方策および価値関数の推定値を改善する。
• サンプリング戦略により、高確率で $\epsilon$-最適方策への収束が保証される。
• 双対ギャップと方策改善基準に基づいて、動的に探索を調整する。
• 集中不等式と双対に基づく誤差制御を用いて実行時間を上限で制御する。

実験結果

リサーチクエスチョン

• RQ1 確率的線形計画法は、ほぼ線形時間で割引付きMDPを解くことができるか？
• RQ2 状態遷移の適応的サンプリングは、収束性と実行時間にどのように影響するか？
• RQ3 定常方策のもとで、正則MDPにおけるこのアルゴリズムの実行時間の複雑さは何か？
• RQ4 このアルゴリズムは、状態行動ペア数に対して入力サイズの非線形依存を達成できるか？
• RQ5 この手法は、確率的動的計画法に対してどのような理論的複雑さベンチマークを確立するか？

主な発見

• アルゴリズムは、最悪ケースにおいてもほぼ線形実行時間で $\epsilon$-最適方策を達成する。
• 正則MDPでは、実行時間が状態行動ペア総数に対して線形であり、これは入力サイズに対して非線形である。
• この効率性は、適応的サンプリングと指数型プライマルデュアル更新を組み合わせることで達成される。
• 状態空間の全列挙を回避することで、先行手法よりも実行時間の複雑さが向上する。
• このアルゴリズムは、確率的動的計画法を解くための新しい複雑さベンチマークを確立する。
• 理論的解析により、高確率での収束と双対ギャップ低減のタイトなバインディングが確認された。