[論文レビュー] POMDP-lite for Robust Robot Planning under Uncertainty

Min Chen, Emilio Frazzoli+2 more|arXiv (Cornell University)|Feb 16, 2016

Reinforcement Learning in Robotics参考文献 23被引用数 4

ひとこと要約

本稿では、隠れ状態が定常的または決定論的に変化する、取り扱い可能なPOMDPの部分クラスPOMDP-liteを導入する。このクラスでは、隠れパラメータでインデックス付けされたMDPの集合に等価であるため、効率的な計画が可能になる。著者らは、近似ベイズ最適性を達成し、最大10^20状態を有する大規模な問題において、最先端のPOMDPソルバーより優れた性能を示すモデルベースのベイジアン強化学習アルゴリズムを提案する。

ABSTRACT

The partially observable Markov decision process (POMDP) provides a principled general model for planning under uncertainty. However, solving a general POMDP is computationally intractable in the worst case. This paper introduces POMDP-lite, a subclass of POMDPs in which the hidden state variables are constant or only change deterministically. We show that a POMDP-lite is equivalent to a set of fully observable Markov decision processes indexed by a hidden parameter and is useful for modeling a variety of interesting robotic tasks. We develop a simple model-based Bayesian reinforcement learning algorithm to solve POMDP-lite models. The algorithm performs well on large-scale POMDP-lite models with up to $10^{20}$ states and outperforms the state-of-the-art general-purpose POMDP algorithms. We further show that the algorithm is near-Bayesian-optimal under suitable conditions.

研究の動機と目的

• 大規模なロボット計画における一般POMDPの計算的非効率性に対処する。
• 隠れ状態変数が一定または決定論的に変化する状況におけるスケーラブルなロボット計画フレームワークを開発する。
• 未知だが固定されたシステムパラメータ、目的、またはタイプを有する部分的に観測可能な環境における効率的なオンライン計画を可能にする。
• 適切な条件下で計算的に効率的かつ近似的にベイズ最適なモデルベースのベイジアン強化学習アルゴリズムを設計する。
• 最先端の一般用途POMDPソルバーよりも、大規模なPOMDP-lite問題において優れた性能を示すことを実証する。

提案手法

• 隠れ状態が定常的または決定論的に変化するPOMDPの部分クラスとしてPOMDP-liteを定義する。
• POMDP-liteと、隠れパラメータでインデックス付けされた完全に観測可能なMDPの集合との理論的同等性を確立する。
• POMDP状態と観測値を組み合わせた拡張MDP状態を構築し、遷移と観測の両方の不確実性を吸収する。
• 隠れパラメータの信念を維持し、ベイズ推論を用いて更新するモデルベースのベイジアン強化学習アルゴリズムを開発する。
• 拡張MDP状態空間における探索と活用のバランスを、ベイズ更新を用いたモンテカルロ木探索（MCTS）で実現する。
• 1ステップあたりの計画時間を1秒以内に制限することで、オンラインで実行可能であり、大規模な問題においてリアルタイム性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 定常的または決定論的に変化する隠れ状態を有する制限付きPOMDPクラスは、効率的な計画を可能にする同等のMDPに変換可能か？
• RQ2 POMDP-liteにおけるMDP同等性を活用するように、ロバストで近似的に最適な意思決定を実現するベイジアン強化学習アルゴリズムをどのように設計できるか？
• RQ3 最大10^20状態を有する大規模問題において、提案アルゴリズムは一般用途POMDPソルバーよりどれほど優れているか？
• RQ4 不確かな初期オブジェクト位置を有するカップの把持といった連続状態のロボットタスクにおいて、アルゴリズムはどのように性能を発揮するか？
• RQ5 POMDP-liteフレームワークは、未知のパラメータ、目的、または人間の行動タイプを含む実世界のロボットタスクを効果的にモデル化できるか？

主な発見

• ロボットアームの把持タスクにおいて、モデル評価では15.56 ± 0.31、V-REPシミュレーションでは15.46 ± 1.20の報酬を達成し、POMCP、DESPOT、Mean MDPを上回った。
• 把持タスクにおいて、モデル評価で100%の成功率、シミュレーションで98%の成功率を達成し、すべてのベースラインを上回った。
• RocksampleおよびBattleship問題において、問題サイズが拡大しても安定した性能を維持したが、SARSOPのようなオフラインソルバーは大規模インスタンスで失敗した。
• 一般用途POMDPソルバーや大規模な問題において非効率となる10^20状態までのPOMDP-liteモデルに対しても、アルゴリズムは効果的にスケーリングした。
• 適切な条件下で、アルゴリズムは近似的にベイズ最適であった。理論的整合性と実験的優位性の両方を示した。
• 隠れパラメータでインデックス付けされたMDPの集合との同等性により、ベイズ更新とMCTSを用いた効率的なオンライン計画が可能になった。