[論文レビュー] pomdp_py: A Framework to Build and Solve POMDP Problems

Kaiyu Zheng, Stefanie Tellex|arXiv (Cornell University)|Apr 21, 2020

Robotic Path Planning Algorithms参考文献 19被引用数 13

ひとこと要約

本論文では、部分的に観測可能なマルコフ決定過程（POMDP）問題の開発および解決を簡素化するPythonおよびCythonベースのフレームワーク、pomdp_pyを紹介する。このフレームワークは、POMDPのモデリングに直感的でオブジェクト指向的なインターフェースを提供し、ROSとネイティブに統合可能で、実世界への展開を可能にしている。実際の応用例として、3秒の計画予算内でPO-UCT計画法を用いて3次元物体探索を成功裏に実行した、トルソアクチュエートドロボットの実装が示されている。

ABSTRACT

In this paper, we present pomdp_py, a general purpose Partially Observable Markov Decision Process (POMDP) library written in Python and Cython. Existing POMDP libraries often hinder accessibility and efficient prototyping due to the underlying programming language or interfaces, and require extra complexity in software toolchain to integrate with robotics systems. pomdp_py features simple and comprehensive interfaces capable of describing large discrete or continuous (PO)MDP problems. Here, we summarize the design principles and describe in detail the programming model and interfaces in pomdp_py. We also describe intuitive integration of this library with ROS (Robot Operating System), which enabled our torso-actuated robot to perform object search in 3D. Finally, we note directions to improve and extend this library for POMDP planning and beyond.

研究の動機と目的

• 複雑な実世界のロボティクス応用をサポートする、アクセスしやすく高性能なPOMDPライブラリの不足に対処すること。
• Pythonで記述されたシンプルで拡張可能なインターフェースと、Cythonで最適化されたパフォーマンスを提供することで、POMDPのプロトタイピングの障壁を低減すること。
• POMDPに基づく意思決定において、リアルタイムのロボット制御とセンサフィードバックを可能にするために、ROSとのシームレスな統合を実現すること。
• 離散的および連続的状態／行動空間を含む、要因分解型およびオブジェクト指向型POMDP（OO-POMDP）をサポートすること。
• モジュラーで再利用可能なコード構造と拡張可能なソルバインタフェースを提供することで、コミュニティ主導の開発を促進すること。

提案手法

• 状態、行動、観測、およびモデル（遷移、観測、報酬、方策）の各クラスを明確に分離したモジュラーなオブジェクト指向設計を採用している。
• ベイズの定理に基づく信念更新メカニズムを用いてPOMDPのコアコンponentsを実装しており、テーブルベースおよびパーティクルベースの信念表現の両方をサポートしている。
• POMCPやPO-UCTといった、事前に用意されたソルバを含み、新しい任意のアルゴリズムを統合可能な汎用的なPlannerインタフェースを提供している。
• 状態空間と観測空間を属性を持つオブジェクトに分解することで、OO-POMDPをサポートし、指数的増加を回避する線形スケールの信念表現を実現している。
• rospyを介したROS統合により、POMDP制御ノードとロボット制御ノード間のメッセージパッシングによって、リアルタイムの行動実行と観測収集が可能になっている。
• ドメイン間でのコードの整理、再利用性、コミュニティ共有を促進するための推奨されるパッケージ構造を提供している。

実験結果

リサーチクエスチョン

• RQ1 POMDPライブラリは、研究者にとってアクセスしやすく、かつ実世界のロボティクス応用に耐えうる十分なパフォーマンスを備えうるか？
• RQ2 Pythonなどのハイレベル言語を用いて、連続的または高次元の状態空間を有するPOMDPを効果的にモデリングおよび解けるか？
• RQ3 標準的なロボティクスミドルウェア（ROSなど）を用いて、POMDP計画をリアルタイムのロボットシステムに効率的に統合できるか？
• RQ4 モジュラーで拡張可能なフレームワークを用いて、オブジェクト指向型POMDPを効果的にモデリングおよびスケーリングできるか？
• RQ5 コミュニティ貢献を促進し、既存のソルバーやツールと統合可能なPOMDPフレームワークは、どのようにアーキテクチャ設計すべきか？

主な発見

• pomdp_pyフレームワークは、連続的状態および観測空間を有する3次元物体探索を含む、複雑なPOMDP問題の実装を成功裏に可能にした。
• ROSを介して制御されたトルソアクチュエートドロボットが、シミュレーテッド3次元環境でPO-UCT計画法に基づく行動を実行したが、各計画ステップは3秒の時間予算内で完了した。
• ROSとの統合は、簡潔かつ効果的であり、rospyベースのメッセージパッシングにより、リアルタイムの行動実行と観測収集が可能になった。
• フレームワークは離散的および連続的ドメインの両方をサポートしており、ライト・ダークドメインや扇型センサを備えた複数物体探索など、広範な適用性を示した。
• オブジェクト指向型POMDP（OO-POMDP）インタフェースは、状態空間と観測空間をオブジェクトに分解することで、指数的増加を回避するスケーラブルな信念表現を実現した。
• ライブラリのモジュラー設計と明確なコード構造は、コード再利用とコミュニティ貢献を容易にした。これは、複数の例題ドメインでの利用と活発な開発が裏付けとして示されている。