[論文レビュー] Efficiently Solving MDPs with Stochastic Mirror Descent

Yujia Jin, Aaron Sidford|arXiv (Cornell University)|Aug 28, 2020

Markov Chains and Monte Carlo Methods被引用数 20

ひとこと要約

本稿は、生成モデルを用いた無限時間枠のマルコフ決定過程（MDP）を効率的に解くための統一的でプライマル・デュアルな確率的ミラー降下フレームワークを導入する。平均報酬MDPでは、定常性の仮定に依存しない $\widetilde{O}(t_{\mathrm{mix}}^2 \mathrm{A_{tot}} \epsilon^{-2})$ のサンプル複雑性を達成し、報酬割引率MDPでは、$\widetilde{O}((1-\gamma)^{-4} \mathrm{A_{tot}} \epsilon^{-2})$ を達成し、対数的要因を除いて最新の結果と一致する。

ABSTRACT

We present a unified framework based on primal-dual stochastic mirror descent for approximately solving infinite-horizon Markov decision processes (MDPs) given a generative model. When applied to an average-reward MDP with $A_{tot}$ total state-action pairs and mixing time bound $t_{mix}$ our method computes an $ε$-optimal policy with an expected $\widetilde{O}(t_{mix}^2 A_{tot} ε^{-2})$ samples from the state-transition matrix, removing the ergodicity dependence of prior art. When applied to a $γ$-discounted MDP with $A_{tot}$ total state-action pairs our method computes an $ε$-optimal policy with an expected $\widetilde{O}((1-γ)^{-4} A_{tot} ε^{-2})$ samples, matching the previous state-of-the-art up to a $(1-γ)^{-1}$ factor. Both methods are model-free, update state values and policies simultaneously, and run in time linear in the number of samples taken. We achieve these results through a more general stochastic mirror descent framework for solving bilinear saddle-point problems with simplex and box domains and we demonstrate the flexibility of this framework by providing further applications to constrained MDPs.

研究の動機と目的

• 生成モデルを用いた無限時間枠MDPを解く一般的でモデルフリーなフレームワークの開発。
• 従来の平均報酬MDP手法に制限をもたらす定常性仮定の排除。
• 平均報酬および割引報酬MDPの両方において、既存の最新技術と同等またはそれを上回るサンプル複雑性の達成。
• 制約付きMDPへの拡張を通じてフレームワークの柔軟性の実証。
• 確率的ミラー降下を用いた最適化の共通的視点からMDPの統一的取り扱い。

提案手法

• 単体およびボックス領域上の双線形サドルポイント問題として、平均報酬および割引報酬MDPを定式化する。
• これらの領域に特化した新しい確率的ミラー降下（SMD）フレームワークを適用し、1サンプルあたり線形時間で更新可能な効率的な更新を実現する。
• 生成モデルから得られる遷移行列および報酬行列の不偏推定器を用いて、オンライン学習を可能にする。
• 近似デュアル解を $\varepsilon$-最適方策に写像するラウンドアップ手順を採用する。
• 一般化されたSMDフレームワークを導入し、$\ell_{\infty}$回帰および制約付き最適化を特別なケースとしてサポートする。
• 混合時間の境界と行列ノルム集中を活用して、デュアル変数における誤差伝搬を制御する。

実験結果

リサーチクエスチョン

• RQ1 1つの確率的ミラー降下フレームワークが、平均報酬および割引報酬MDPの両方で最適なサンプル複雑性を達成できるか？
• RQ2 定常性仮定なしで、平均報酬MDPにおける混合時間 $t_{\mathrm{mix}}$ への最小依存度は何か？
• RQ3 このフレームワークは、保証付きで制約付きMDPを扱えるように拡張可能か？
• RQ4 SMDに基づくMDPソルバーのサンプル複雑性は、価値反復法やQ学習法と比べてどうか？
• RQ5 一般のMDPにおいて、$t_{\mathrm{mix}}$ や $\gamma$ 以外のどの問題パラメータがサンプル複雑性に依存すべきか？

主な発見

• 混合時間 $t_{\mathrm{mix}}$ が有界な平均報酬MDPに対して、本手法は期待サンプル複雑性 $\widetilde{O}(t_{\mathrm{mix}}^2 \mathrm{A_{tot}} \epsilon^{-2})$ を達成し、定常性仮定の必要性を排除する。
• 割引率 $\gamma$ を持つ割引報酬MDPに対して、本手法は $\widetilde{O}((1-\gamma)^{-4} \mathrm{A_{tot}} \epsilon^{-2})$ のサンプル複雑性を達成し、対数的要因を除いて既存の最高水準の結果と一致する。
• アルゴリズムは取得したサンプル数に線形に実行可能であり、効率的なオンライン更新が可能である。
• 本フレームワークは、単体およびボックス領域上の密行列双線形サドルポイント問題を、サブ線形実行時間で正確に解くことが保証される。
• 本手法は制約付きMDPへ拡張可能であり、このような問題の近似的最適化のための新たなアプローチを提供する。
• 解析により、MDPと $\ell_{\infty}$ 回帰の強い関連性が明らかとなり、凸最適化ツールの強力な適用可能性が示唆される。