[論文レビュー] On the Use of Non-Stationary Policies for Stationary Infinite-Horizon Markov Decision Processes

Bruno Scherrer, Boris Lesner|arXiv (Cornell University)|Nov 29, 2012

Reinforcement Learning in Robotics参考文献 28被引用数 15

ひとこと要約

本稿では、無限時間割引マルコフ決定過程における非定常方策を生成する、近似価値反復（AVI）および方策反復（API）の新規な変種を提案する。性能境界は $\frac{2\gamma}{1-\gamma}\epsilon$ であり、定常方策の標準的で劣った境界 $\frac{2\gamma}{(1-\gamma)^2}\epsilon$ よりも $\frac{1}{1-\gamma}$ 倍良い。主な洞察は、$\gamma$ が 1 に近いとき、近似的に最適な非定常方策を計算することは、近似的に最適な定常方策を計算するよりも著しく簡単であるということである。

ABSTRACT

We consider infinite-horizon stationary $γ$-discounted Markov Decision Processes, for which it is known that there exists a stationary optimal policy. Using Value and Policy Iteration with some error $ε$ at each iteration, it is well-known that one can compute stationary policies that are $\frac{2γ}{(1-γ)^2}ε$-optimal. After arguing that this guarantee is tight, we develop variations of Value and Policy Iteration for computing non-stationary policies that can be up to $\frac{2γ}{1-γ}ε$-optimal, which constitutes a significant improvement in the usual situation when $γ$ is close to 1. Surprisingly, this shows that the problem of "computing near-optimal non-stationary policies" is much simpler than that of "computing near-optimal stationary policies".

研究の動機と目的

• 近似誤差が $\epsilon$ で抑えられる場合に、定常方策を生成する既存の AVI および API アルゴリズムの性能境界が $\frac{2\gamma}{(1-\gamma)^2}\epsilon$ であるという限界を是正すること。
• 同じ誤差仮定のもとで、非定常方策が定常方策よりも著しく優れた性能保証を達成できるかどうかを調査すること。
• 周期的非定常方策を生成する、新しい AVI および API の変種を開発すること。
• 近似的に最適な非定常方策を計算する問題は、近似的に最適な定常方策を計算する問題よりも、近似誤差が存在する状況で根本的に単純であることを示すこと。

提案手法

• 誤差が $\epsilon_k$ で抑えられる値関数の列を構築する修正された AVI アルゴリズムを提案し、最終的な方策列から非定常方策を導出する。
• 有限個の定常方策の列を巡回することで周期的非定常方策を生成する、2 つの新しい方策反復の変種を導入する。
• 反復列で生成された最後の $m$ 個の方策を周期 $m$ で繰り返す周期的非定常方策 $\pi_{k,m}$ を定義する。
• ベルマン作用素と誤差伝播を用いて、$T_{\pi_*}$ の収縮性を活用し、$\|v_* - v_{\pi_{k,m}}\|_\infty$ の再帰的誤差境界を確立する。
• 非定常方策の性能境界として $\frac{2\gamma}{(1-\gamma^m)(1-\gamma)}\epsilon$ を導出し、$m \to \infty$ のとき $\frac{2\gamma}{1-\gamma}\epsilon$ に収束することを示す。
• 成分ごとの解析と帰納法を用いて誤差境界を証明し、$\gamma$ が 1 に近いとき、古典的で劣った $\frac{2\gamma}{(1-\gamma)^2}\epsilon$ の境界よりも厳密にタイトであることを示す。

実験結果

リサーチクエスチョン

• RQ1 無限時間割引 MDP における近似 AVI および API において、非定常方策は定常方策よりも優れた性能境界を達成できるか？
• RQ2 AVI や API において、古典的な性能境界 $\frac{2\gamma}{(1-\gamma)^2}\epsilon$ は、近似誤差が存在する場合でもタイトであると証明できるか？
• RQ3 近似的に最適な非定常方策を計算する問題は、近似的に最適な定常方策を計算する問題よりも根本的に単純であると見なせるか？
• RQ4 修正された AVI および API アルゴリズムによって生成される非定常方策が達成可能な理論的性能境界は何か？
• RQ5 周期的非定常方策における周期 $m$ の選択は、近似誤差とメモリコストのトレードオフにどのように影響するか？

主な発見

• AVI および API における古典的性能境界 $\frac{2\gamma}{(1-\gamma)^2}\epsilon$ は、AVI であっても、これまでの文献では正式に確立されていなかったが、タイトであることが示された。
• 提案された非定常方策を用いた AVI ベースのアルゴリズムは、性能境界 $\frac{2\gamma}{(1-\gamma^m)(1-\gamma)}\epsilon$ を達成し、標準的境界より $\frac{1}{1-\gamma}$ 倍良い。
• 周期 $m$ の周期的非定常方策では、$m \to \infty$ のとき性能境界が $\frac{2\gamma}{1-\gamma}\epsilon$ に収束し、$\gamma$ が 1 に近い場合に著しく境界が改善される。
• $m = \left\lceil \frac{1}{1-\gamma} \right\rceil$ を選ぶことで、性能境界は $\frac{3.164\gamma}{1-\gamma}\epsilon$ 以下となり、漸近的境界の定数倍の範囲に収まる。
• 新しい境界 $\frac{2\gamma}{1-\gamma}\epsilon$ はタイトであると予想されており、解析を $L_p$-ノルム誤差制御へ拡張可能であると著者らは考える。
• 結果として、同じ誤差モデルのもとで、近似的に最適な非定常方策を計算することは、近似的に最適な定常方策を計算することよりも根本的に単純であることが示された。