[論文レビュー] Open Problem: Approximate Planning of POMDPs in the class of Memoryless Policies

Kamyar Azizzadenesheli, Alessandro Lazaric+1 more|arXiv (Cornell University)|Aug 17, 2016

Optimization and Search Problems参考文献 12被引用数 3

ひとこと要約

この論文は、確率的無記憶方策における部分的に観測可能なマルコフ意思決定過程（POMDPs）の近似計画法を、未解決の問題として特定している。記憶のない方策は計画を単純化するが、最適または近似的に最適な方策を見つけることは依然としてNP困難であり、凸でない。主な貢献は、このクラスにおけるスケーラブルで近似可能な計画法の課題を、不確実性下での順次意思決定分野における重要な未解決問題として提示することにある。

ABSTRACT

Planning plays an important role in the broad class of decision theory. Planning has drawn much attention in recent work in the robotics and sequential decision making areas. Recently, Reinforcement Learning (RL), as an agent-environment interaction problem, has brought further attention to planning methods. Generally in RL, one can assume a generative model, e.g. graphical models, for the environment, and then the task for the RL agent is to learn the model parameters and find the optimal strategy based on these learnt parameters. Based on environment behavior, the agent can assume various types of generative models, e.g. Multi Armed Bandit for a static environment, or Markov Decision Process (MDP) for a dynamic environment. The advantage of these popular models is their simplicity, which results in tractable methods of learning the parameters and finding the optimal policy. The drawback of these models is again their simplicity: these models usually underfit and underestimate the actual environment behavior. For example, in robotics, the agent usually has noisy observations of the environment inner state and MDP is not a suitable model. More complex models like Partially Observable Markov Decision Process (POMDP) can compensate for this drawback. Fitting this model to the environment, where the partial observation is given to the agent, generally gives dramatic performance improvement, sometimes unbounded improvement, compared to MDP. In general, finding the optimal policy for the POMDP model is computationally intractable and fully non convex, even for the class of memoryless policies. The open problem is to come up with a method to find an exact or an approximate optimal stochastic memoryless policy for POMDP models.

研究の動機と目的

• 確率的無記憶方策におけるPOMDPのスケーラブルで近似可能な計画手法の欠如に対処する。
• Beliefベースの計画と比較して複雑さが低下しているにもかかわらず、POMDPにおける最適無記憶方策の探索がNP困難であり、凸でないことを特定する。
• 推定と探索は取り上げられているが、無記憶方策のための効率的計画法が未解決であるという、既存の強化学習文献におけるギャップを強調する。
• やや緩い条件下で、無記憶方策クラス内で最適解にε-closeな性能を達成する新しい手法を要請する。
• 学習、計画、探索の連携を図るために、POMDPにおける無記憶方策の欠落している計画要因に焦点を当てる。

提案手法

• 状態、行動、観測、報酬空間を含む遷移、報酬、観測密度を伴う、POMDPをタプルとして形式化する。
• 確率的無記憶方策を観測から行動への写像として定義し、条件付き確率分布 $ f_{\pi}(a|\vec{y}) $ でパラメータ化する。
• 方策の平均報酬を $ \eta(\pi;M) = \sum_x \omega_\pi(x) \overline{r}_\pi(x) $ として表現する。ここで $ \omega_\pi $ は定常状態分布である。
• 方策 $ \pi $ における誘導されたマルコフ連鎖を、遷移密度 $ f_{T,\pi}(x'|x) = \sum_{a,\vec{y}} f_\pi(a|\vec{y}) f_O(\vec{y}|x) f_T(x'|x,a) $ を用いてモデル化する。
• 最適方策を $ \pi^* = \arg\max_\pi \eta(\pi;M) $ としてフレームする。最適化の非凸性とPSPACE完全性に注目する。
• 解決手法としてではなく、複雑さの文脈として幾何的表現と信念空間の分割を用いる。

実験結果

リサーチクエスチョン

• RQ1 POMDPにおける最適な確率的無記憶方策を近似する際の、根本的な計算的・構造的課題は何か？
• RQ2 完全な信念空間計画と比較して単純化されているにもかかわらず、無記憶方策クラスにおける計画がなぜ依然としてNP困難なのか？
• RQ3 無記憶方策クラス内で最適性能にε-closeな方策を求めるスケーラブルで近似可能な手法を開発できるか？
• RQ4 どのような条件下や仮定があれば、無記憶方策の近似が実用的かつ有効に実行可能になるか？
• RQ5 学習と探索の分野で既に進展しているにもかかわらず、POMDPにおけるモデルベース強化学習の学習・計画・探索のループを閉じるには、計画要因をどのように補完すればよいか？

主な発見

• 確率的無記憶方策におけるPOMDPの最適方策は、完全な信念空間計画と比較して単純化されているにもかかわらず、計算がNP困難である。
• 無記憶方策クラスにおける計画は非凸的かつPSPACE完全のままであり、根本的なアルゴリズム的非効率性を示している。
• 無記憶方策と完全な信念ベース方策との間には、性能差が無限大に達する可能性があるため、より良い近似手法の必要性が正当化される。
• ポイントベース価値反復やヒューリスティックサーチなどの既存手法は、最適無記憶方策を近似するという核心的課題を解決しない。
• 幾何的・構造的洞察（例：Montufar et al., 2015）は存在するが、スケーラブルな近似アルゴリズムは知られていない。
• 未解決の問題は依然として未解決のままである：最適無記憶方策を理論的保証や実用的スケーラビリティを伴って計算または近似する手法は、まだ知られていない。