[論文レビュー] POMP: Pomcp-based Online Motion Planning for active visual search in indoor environments

Yiming Wang, Francesco Giuliari+6 more|arXiv (Cornell University)|Sep 17, 2020

Video Analysis and Summarization参考文献 29被引用数 6

ひとこと要約

POMPは、RGB-D観測と既知の床図を用いて、事前学習を必要とせず、室内環境におけるアクティブビジュアルサーチのためのPOMCPベースのオンラインモーションプランニングフレームワークを提案する。AVDベンチマークでは76%の成功率、平均経路長17.1を達成し、最先端の手法を上回る性能を示した。

ABSTRACT

In this paper we focus on the problem of learning an optimal policy for Active Visual Search (AVS) of objects in known indoor environments with an online setup. Our POMP method uses as input the current pose of an agent (e.g. a robot) and a RGB-D frame. The task is to plan the next move that brings the agent closer to the target object. We model this problem as a Partially Observable Markov Decision Process solved by a Monte-Carlo planning approach. This allows us to make decisions on the next moves by iterating over the known scenario at hand, exploring the environment and searching for the object at the same time. Differently from the current state of the art in Reinforcement Learning, POMP does not require extensive and expensive (in time and computation) labelled data so being very agile in solving AVS in small and medium real scenarios. We only require the information of the floormap of the environment, an information usually available or that can be easily extracted from an a priori single exploration run. We validate our method on the publicly available AVD benchmark, achieving an average success rate of 0.76 with an average path length of 17.1, performing close to the state of the art but without any training needed. Additionally, we show experimentally the robustness of our method when the quality of the object detection goes from ideal to faulty.

研究の動機と目的

• オクルージョン、ぼやけ、部分的視認によるオブジェクト検出が不安定な室内環境におけるアクティブビジュアルサーチ（AVS）の課題に対処すること。
• 事前学習済みモデルを必要とせず、環境の変化やセンサー品質の変動に適応できるオンラインで学習するモーションプランニング方策を開発すること。
• 大規模なアノテート済みデータセットへの依存を減らし、計算コストの高い強化学習データセットの代わりに既知の環境マップを活用すること。
• 検出誤り（欠落検出や誤検出）に対して耐障害性を高めつつ、高い成功率を維持すること。
• 軽量で汎用性の高い計画法を用いて、小規模から中規模の室内シナリオにおいてリアルタイムでの実装を可能にすること。

提案手法

• POMPはAVS問題を部分的に観測可能なマルコフ決定過程（POMDP）としてモデル化し、POMCPアルゴリズムを用いてモンテカルロ木探索（MCTS）で解く。
• 各時刻において、エージェントのポーズと現在のRGB-Dフレームを用いて候補オブジェクトを検出する。深度データを用いて検出結果を2次元床図に投影し、空間的推論を行う。
• パーティクルフィルタがオブジェクト位置の信念状態を維持し、検出結果とセンサーの視野制約に基づいてそれを更新する。
• POMCPプランナは、ターゲットオブジェクトへの接近度と視認性の向上を目的関数として期待報酬を最大化する行動（移動）を選択する。
• 検出後、パスリプランニングモジュールがダイクストラ法を用いて最短経路を計算し、前面視認を維持するための耐障害性の高いドッキング戦略を採用する。
• 環境の幾何構造（壁、障害物）と可視性を明示的にモデル化し、データによる知識の暗黙的エンコードを回避する。

実験結果

リサーチクエスチョン

• RQ1 POMCPを用いたオンラインでモデルベースの計画が、大規模なアノテート済みデータセットでの事前学習を必要とせずに、競争力のあるAVS性能を達成できるか？
• RQ2 POMPフレームワークは、検出品質の低下（欠落検出や誤検出を含む）に対してどの程度耐障害性を示すか？
• RQ3 既知の床図を用いることで、エンドツーエンド学習手法と比較して計画効率と成功確率がどの程度向上するか？
• RQ4 オンラインでのポリシー学習は、オフライン学習に比べて環境の変化や新しいセンサーモダリティへの適応をどの程度迅速に行えるか？
• RQ5 複雑な室内環境（ごみや隠蔽物あり）において、POMPは経路長を最小限に抑えつつも高い性能を維持できるか？

主な発見

• POMPはAVDベンチマークで平均76%の成功率、平均経路長17.1を達成し、事前学習を一切行わずとも最先端の手法を上回る性能を示した。
• 理想的な検出器を用いた場合、POMPは成功率0.76（0.26）と平均経路長17.1を達成し、モデルファインチューニングなしでEATの性能と同等または上回った。
• 欠落検出に対しては頑健であり、正解アノテーションの60%を除去しても成功率が顕著に低下するまでに至らなかった。
• 誤検出は成功率に強い負の影響を及ぼしたが、平均経路長（APL）は安定しており、これは成功経路のみを対象に計算されるためである。
• ドッキング段階でのパスリプランニングにより、平均で3.5%の成功率向上が達成されたが、経路長はわずかに増加した。これは最終アプローチ段階での有効性を示している。
• システムは6コアCPU上で1ステップあたり0.07秒で実行され、実世界の室内シナリオへのリアルタイム導入が可能であることが示された。