[論文レビュー] Planning in Observable POMDPs in Quasipolynomial Time

Noah Golowich, Ankur Moitra+1 more|arXiv (Cornell University)|Jan 12, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、弱い観測可能性仮定の下で、状態が明確に分離されていると観測も明確に分離されることを仮定し、1ステップ観測可能なPOMDPにおける計画のための最初の準多項式時間アルゴリズムを提示する。主な貢献は、近似的に最適な方策表現を備えた証明可能に効率的なアルゴリズムであり、Exponential Time Hypothesisの下での一致する下界結果も併せ持つ。

ABSTRACT

Partially Observable Markov Decision Processes (POMDPs) are a natural and general model in reinforcement learning that take into account the agent's uncertainty about its current state. In the literature on POMDPs, it is customary to assume access to a planning oracle that computes an optimal policy when the parameters are known, even though the problem is known to be computationally hard. Almost all existing planning algorithms either run in exponential time, lack provable performance guarantees, or require placing strong assumptions on the transition dynamics under every possible policy. In this work, we revisit the planning problem and ask: are there natural and well-motivated assumptions that make planning easy? Our main result is a quasipolynomial-time algorithm for planning in (one-step) observable POMDPs. Specifically, we assume that well-separated distributions on states lead to well-separated distributions on observations, and thus the observations are at least somewhat informative in each step. Crucially, this assumption places no restrictions on the transition dynamics of the POMDP; nevertheless, it implies that near-optimal policies admit quasi-succinct descriptions, which is not true in general (under standard hardness assumptions). Our analysis is based on new quantitative bounds for filter stability -- i.e. the rate at which an optimal filter for the latent state forgets its initialization. Furthermore, we prove matching hardness for planning in observable POMDPs under the Exponential Time Hypothesis.

研究の動機と目的

• POMDPにおける計画が、既知の計算困難性にもかかわらず、自然かつ妥当な仮定の下で計算的に扱いやすくなる条件を同定すること。
• 歴史の呪いを克服し、弱い観測可能性のもとで、近似的に最適な方策が準短縮的記述を持つことを示すこと。
• 状態数と観測数に関して多項式時間で実行可能な、1ステップ観測可能なPOMDPにおける計画のための証明可能に効率的なアルゴリズムを確立すること。
• Exponential Time Hypothesisの下で一致する下界結果を提示し、アルゴリズムの時間計算量がほぼ最適であることを示すこと。

提案手法

• 1ステップ観測可能性の概念を導入し、状態分布が明確に分離されていると、それに対応する観測分布も明確に分離されることを仮定する。
• フィルタ安定性に関する新しい定量的バインディングを確立し、隠れた状態に関する信念が初期化をどの程度速く忘れ始めるかを測定する。
• 信念収縮解析を用いて、観測可能性仮定のもとで、真の信念と近似信念との全変動距離が時間とともに指数的に減少することを示す。
• 信念更新プロセスの再帰的分解を用いて、取り上げるべき異なる信念状態の数を制限する。
• 近似的に最適な方策の準短縮的性質を活用し、信念空間の注意深く構築された離散化の上での動的計画法を採用する。
• 3-SATへの還元を用いて、一致する下界結果を証明する。これにより、任意のアルゴリズムが指数的時間より速く問題を解けると、Exponential Time Hypothesisに反する。

実験結果

リサーチクエスチョン

• RQ1 観測の情報量に関する自然かつ妥当な仮定のもとで、POMDPにおける計画が効率的に行えるようになるか。
• RQ2 状態が明確に分離されていると観測も明確に分離されるという仮定は、近似的に最適な方策が短縮的記述を持つことを示唆するか。
• RQ3 遷移ダイナミクスに強い制限を課さずに、観測可能なPOMDPにおける計画のための準多項式時間アルゴリズムを設計可能か。
• RQ4 観測可能なPOMDPにおける計画の計算複雑性の限界は何か。また、Exponential Time Hypothesisのような基本的複雑性仮定とどのように関係するか。
• RQ5 信念収束の速度（フィルタ安定性）を定量的にバインドでき、効率的な計画が可能になるか。

主な発見

• 本稿では、1ステップ観測可能なPOMDPにおける計画のための準多項式時間アルゴリズムを提示する。実行時間は $\exp(\tilde{O}(\log^2(SAH)))$ で抑えられ、ここで $S$, $A$, および $H$ は状態数、行動数、およびホライズン長を表す。
• 1ステップ観測可能性仮定のもとで、近似的に最適な方策は準短縮的記述を持つ。これは、それらが準多項式オーダーのパラメータで表現可能であることを意味する。
• 本稿では、フィルタ安定性に関する新たな定量的バインディングを確立する。真の信念と近似信念との全変動距離は、$\exp(-\Omega(\gamma^2 t))$ の速度で減少する。ここで $\gamma$ は観測可能性パラメータ、$t$ は時間である。
• 信念収縮率は、$\gamma$ の二乗依存性が改善できないことから、定数の意味でタイトであることが示された。
• 一致する下界結果が証明された。Exponential Time Hypothesisのもとでは、任意の $c>0$ および $\epsilon<1/m$ に対して、時間 $\exp(O((SAH/\epsilon)^c))$ で問題を解くアルゴリズムは存在しない。ここで $m$ は3-SATインスタンスの節数である。
• この結果は、提案された準多項式時間アルゴリズムが、実行時間の複雑さの観点からほぼ最適であることを示唆する。