[論文レビュー] Region-Based Approximations for Planning in Stochastic Domains

Nevin L. Zhang, Wenju Liu|arXiv (Cornell University)|Feb 6, 2013

Reinforcement Learning in Robotics参考文献 14被引用数 7

ひとこと要約

本稿では、状態空間を観測が単純化される領域に分割することにより、確率的領域における効率的な計画を可能にする部分的に観測可能なマルコフ決定過程（POMDP）の部分クラス、領域観測可能POMDPを導入する。この手法により、領域に基づく抽象化を通じて一般POMDPの任意の精度の近似が可能となり、計算複雑性が著しく低下する一方で、解の品質は維持される。

ABSTRACT

This paper is concerned with planning in stochastic domains by means of partially observable Markov decision processes (POMDPs). POMDPs are difficult to solve. This paper identifies a subclass of POMDPs called region observable POMDPs, which are easier to solve and can be used to approximate general POMDPs to arbitrary accuracy.

研究の動機と目的

• 確率的領域における一般POMDPを解く際の計算非効率性に対処すること。
• スケーラブルな計画を可能にする、POMDPの取り扱いやすい部分クラスを同定すること。
• 一般POMDPの証明可能な精度バウンドを備えた近似フレームワークを開発すること。
• 領域ベースの状態抽象化を通じて、信念空間計画の複雑性を低減すること。
• 構造化された近似を用いて、部分的に観測可能な環境における実用的な計画を可能にすること。

提案手法

• 状態空間を観測モデルが単純化される領域に分割する、領域観測可能POMDPを提案する。
• 観測が領域そのものに依存するだけで、その領域内の正確な状態には依存しない、領域観測可能性を定義する。
• 信念空間の次元を圧縮し、計画の複雑性を低減するために、領域ベースの信念表現を用いる。
• 抽象化された領域ベースの信念空間上で価値反復を適用し、近似方策を計算する。
• 反復的に領域境界を精緻化することで、任意の精度への近似精度を向上させる。
• 領域観測可能性の構造を活用し、信念空間における効率的な動的計画法を実現する。

実験結果

リサーチクエスチョン

• RQ1 効率的かつ正確な計画を可能にする、POMDPの構造的部分クラスを定義できるか？
• RQ2 状態空間をどのように領域に分割すれば、観測の単純化と複雑性の低減が達成できるか？
• RQ3 一般POMDPは、誤差が有界な領域観測可能モデルを用いてどの程度近似可能か？
• RQ4 標準的なPOMDPソルバーと比較して、領域ベースの抽象化にはどの程度の計算的利点があるか？
• RQ5 領域ベースの近似は、どのようにして計画における任意の精度にまで精緻化できるか？

主な発見

• 領域観測可能POMDPは、状態空間の分割を通じて効率的な計画を可能にする、取り扱いやすいPOMDPの部分クラスを形成する。
• 領域境界の精緻化により、一般POMDPの任意の精度の近似が可能になる。
• 領域ベースの信念表現は、信念空間の次元を著しく低減し、スケーラビリティを向上させる。
• この手法は、計算コストを削減しながらも、正確なPOMDPソルバーと同等の解の品質を維持する。
• 抽象化された信念空間上で実行される価値反復は、最適方策からの誤差が有界な方策に収束する。
• 実験的結果から、領域ベースの近似は著しく短縮された計算時間でほぼ最適な性能を達成することが示された。