[論文レビュー] Near Optimality of Finite Memory Feedback Policies in Partially Observed Markov Decision Processes

Ali̇ Devran Kara, Serdar Yüksel|arXiv (Cornell University)|Oct 14, 2020

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿では、部分的に観測可能なマルコフ意思決定過程（POMDP）に対して、有限ウィンドウ履歴のみを用いてbelief空間を離散化することで、有限記憶フィードバック方策の近似を提案する。これは、やや弱い非線形フィルタ安定性条件のもとで、近似的に最適性が保証され、指数的安定性が成立する場合には明示的な指数的収束率が得られる。

ABSTRACT

In the theory of Partially Observed Markov Decision Processes (POMDPs), existence of optimal policies have in general been established via converting the original partially observed stochastic control problem to a fully observed one on the belief space, leading to a belief-MDP. However, computing an optimal policy for this fully observed model, and so for the original POMDP, using classical dynamic or linear programming methods is challenging even if the original system has finite state and action spaces, since the state space of the fully observed belief-MDP model is always uncountable. Furthermore, there exist very few rigorous value function approximation and optimal policy approximation results, as regularity conditions needed often require a tedious study involving the spaces of probability measures leading to properties such as Feller continuity. In this paper, we study a planning problem for POMDPs where the system dynamics and measurement channel model are assumed to be known. We construct an approximate belief model by discretizing the belief space using only finite window information variables. We then find optimal policies for the approximate model and we rigorously establish near optimality of the constructed finite window control policies in POMDPs under mild non-linear filter stability conditions and the assumption that the measurement and action sets are finite (and the state space is real vector valued). We also establish a rate of convergence result which relates the finite window memory size and the approximation error bound, where the rate of convergence is exponential under explicit and testable exponential filter stability conditions. While there exist many experimental results and few rigorous asymptotic convergence results, an explicit rate of convergence result is new in the literature, to our knowledge.

研究の動機と目的

• 信念-MDP定式化における非可算な信念空間のため、最適方策を計算することが困難であるという課題に対処すること。
• 過去の観測値と行動の有限ウィンドウのみを用いて制御方策を構築する有限記憶近似手法を開発すること。
• 非線形フィルタのやや弱い正則性条件のもとで、得られた有限記憶方策に対する厳密な近似的最適性の保証を確立すること。
• 近似誤差の明示的な収束速度を提供することであり、これはテスト可能なフィルタ安定性条件のもとで指数的となる。
• POMDP制御におけるヒューリスティックな近似手法と厳密な理論的分析の間の溝を埋めること。

提案手法

• 過去の有限ウィンドウの観測値と行動のみを用いて、belief空間を離散化することで近似信念モデルを構築する。
• この有限記憶信念表現に基づいて近似POMDPモデルを定式化し、計算が tractable な方策の計算を可能にする。
• 有限記憶モデル上で動的計画法および価値反復を用いて、近似システムの最適方策を計算する。
• 有界リプシッツノルムを用いて、元のPOMDPの価値関数と近似モデルの価値関数の差の上限を確立する。
• 特に、全 Variation または有界リプシッツ距離における非線形フィルタの指数的収束というフィルタ安定性条件を活用し、収束速度を導出する。
• 収縮写像の議論と期待価値関数差の再帰的バウンドを用いて、最終的な収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 やや弱いフィルタ安定性条件下で、有限記憶フィードバック方策はPOMDPにおいて近似的に最適な性能を達成できるか？
• RQ2 記憶ウィンドウサイズが増加するに従って、近似誤差の収束速度はいかなるものか？
• RQ3 信念空間の距離尺度（例えば、全 Variation と有界リプシッツ）の選択が理論的保証に与える影響は何か？
• RQ4 有限記憶方策の価値関数が真の最適価値関数に収束することが保証される条件は何か？
• RQ5 システムのダイナミクスおよび観測モデルに対して、明示的かつテスト可能な条件を満たすことで、近似誤差の指数的収束を保証できるか？

主な発見

• やや弱い非線形フィルタ安定性条件下で、有限記憶方策近似は証明可能な近似的最適性を有する。
• 非線形フィルタが有界リプシッツノルムで指数的安定性を満たす場合には、近似誤差に対して明示的な指数的収束率が確立される。
• 収束速度はフィルタの収縮係数 $\alpha_{\mathcal{Z}}$ と割引係数 $\beta$ に依存し、指数的フィルタ安定性下では誤差が $O(\beta^t)$ のように減少する。
• 価値関数差のバウンドは有界リプシッツノルムを用いて導出され、コスト関数および遷移カーネルの正則性に関連する定数を含む。
• 解析により、近似誤差が一様に有界であり、記憶ウィンドウサイズが増加するに従って0に収束することが示され、明示的な条件下では指数的速さで収束する。
• 結果は一般の状態空間（実数ベクトル値）および有限の行動集合・観測集合に拡張可能であり、主な仮定は非線形フィルタの安定性である。