[論文レビュー] Hindsight is Only 50/50: Unsuitability of MDP based Approximate POMDP Solvers for Multi-resolution Information Gathering

Sankalp Arora, Sanjiban Choudhury+1 more|arXiv (Cornell University)|Apr 7, 2018

Reinforcement Learning in Robotics参考文献 26被引用数 5

ひとこと要約

本論文は、マルチリソリューションで予算が制限された情報収集タスクにおけるMDPベースの近似POMDPソルバの根本的な限界を特定し、最適なPOMDP解において極めて重要な情報収集行動を優先しないことが示されている。著者らは、このようなソルバが証明可能に最適でない条件を形式的に定式化し、テイガー問題とUAVを用いたマルチリソリューションパスプランニングのシナリオを用いて検証した。その結果、情報性の高い行動が無視されたことで、価値の差が60単位以上に達する性能差が生じた。

ABSTRACT

Partially Observable Markov Decision Processes (POMDPs) offer an elegant framework to model sequential decision making in uncertain environments. Solving POMDPs online is an active area of research and given the size of real-world problems approximate solvers are used. Recently, a few approaches have been suggested for solving POMDPs by using MDP solvers in conjunction with imitation learning. MDP based POMDP solvers work well for some cases, while catastrophically failing for others. The main failure point of such solvers is the lack of motivation for MDP solvers to gain information, since under their assumption the environment is either already known as much as it can be or the uncertainty will disappear after the next step. However for solving POMDP problems gaining information can lead to efficient solutions. In this paper we derive a set of conditions where MDP based POMDP solvers are provably sub-optimal. We then use the well-known tiger problem to demonstrate such sub-optimality. We show that multi-resolution, budgeted information gathering cannot be addressed using MDP based POMDP solvers. The contribution of the paper helps identify the properties of a POMDP problem for which the use of MDP based POMDP solvers is inappropriate, enabling better design choices.

研究の動機と目的

• MDPベースの近似POMDPソルバが情報収集タスクにおいて証明可能に最適でない条件を特定すること。
• 最適なPOMDP結果をもたらすにもかかわらず、不確実性を低減する情報性の高い行動を無視してしまうにもかかわらず、そのようなソルバが情報収集行動を選択しないことを実証すること。
• マルチリソリューションで予算が制限された情報収集問題が、情報取得の優先順位付けができないため、MDP-POMDPソルバには本質的に不適切であることを示すこと。
• MDP-POMDPソルバが不適切な問題を検出するための形式的基準を提供し、より良いソルバ設計選択を可能にすること。
• 古典的テイガー問題とUAVを用いたマルチリソリューションパスプランニングタスクを用いて理論的知見を検証すること。

提案手法

• 報酬の即時還元がないが不確実性を低減する行動（情報性の高い行動）を形式的に定式化し、MDP-POMDPソルバの不適切さの指標とする。
• 最適MDP方策にそのような行動が欠如している場合に、MDPベースのソルバが失敗する条件を分析することで、失敗の条件を定義する。
• 信念空間におけるPOMDP問題の性能を推定するために、後知恵最適化とQMDPスタイルの近似を適用する。
• 既知の車両位置の不確実性を有するUAVベースのマルチリソリューション情報収集タスクを用いて、MDPとPOMDPの解を比較する。
• 最適POMDP方策とMDPベースの近似解との間の価値差を計算し、最適性の欠如を定量化する。
• 報酬形状を施した情報空間でMDPソルバを運用するパイプラインを提案し、情報収集を促進する。これは、代替策としての可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 MDPベースの近似POMDPソルバが証明可能に最適でない条件は何か？
• RQ2 なぜMDP-POMDPソルバは、POMDP問題において不確実性を低減する情報性の高い行動を選ばないのか？
• RQ3 テイガー問題は、MDP-POMDPソルバの情報収集における失敗を表す標準的例として適切か？
• RQ4 UAVを用いたマルチリソリューションで予算が制限された情報収集タスクにおいて、最適性の欠如はどのように現れるか？
• RQ5 情報空間でMDPソルバに報酬形状を適用することで、性能を回復できるか？

主な発見

• MDPベースの近似POMDPソルバは、最適なPOMDP解を達成するために情報性の高い行動（即時報酬がないが不確実性を低減する行動）が必要な場合に、証明可能に最適でない。
• テイガー問題において、MDP-POMDPソルバは虎の位置を聞きにいく行動を取らず、結果として50％の確率で間違ったドアを開け、高いペナルティを被る。
• UAVベースのマルチリソリューションパスプランニングタスクにおいて、MDP-POMDPソルバは「上」の行動（車両位置を特定する）を回避し、後知恵最適化下で価値が34.125にとどまる一方、最適POMDP方策では96の価値を達成する。
• UAVタスクにおける最適POMDP方策とMDP-POMDPソルバとの間の価値差は61.875単位に達し、主に情報価値と情報性の高い行動からの報酬の損失に起因する。
• UAVタスクにおける情報の期待価値は63.875であるが、これによりMDP-POMDPソルバが不確実性低減の全貌を捉えていないことが明確になった。
• 本研究は、MDP-POMDPソルバが不適切な問題を検出するための形式的基準を提供し、不適切なソルバ選択を早期に回避可能にする。