[論文レビュー] Semantic Mapping with Simultaneous Object Detection and Localization

Zhen Zeng, Yunwen Zhou+2 more|arXiv (Cornell University)|Oct 26, 2018

Robotics and Sensor-Based Localization被引用数 5

ひとこと要約

本稿では、文脈的対象関係と時間的ポーズ整合性をモデル化する条件付きランダムフィールド（CRF）を用いた、RGB-Dストリームにおける同時6自由度対象検出および局所化のためのフィルタリングベースの手法であるコンテキスト時間マッピング（CT-Map）を提案する。CT-Mapは、対象クラスおよびポーズの生成的推論を粒子フィルタリングにより実現することで、Faster R-CNNより検出精度が高く、ICP/FPFHよりポーズ推定精度が優れている。

ABSTRACT

We present a filtering-based method for semantic mapping to simultaneously detect objects and localize their 6 degree-of-freedom pose. For our method, called Contextual Temporal Mapping (or CT-Map), we represent the semantic map as a belief over object classes and poses across an observed scene. Inference for the semantic mapping problem is then modeled in the form of a Conditional Random Field (CRF). CT-Map is a CRF that considers two forms of relationship potentials to account for contextual relations between objects and temporal consistency of object poses, as well as a measurement potential on observations. A particle filtering algorithm is then proposed to perform inference in the CT-Map model. We demonstrate the efficacy of the CT-Map method with a Michigan Progress Fetch robot equipped with a RGB-D sensor. Our results demonstrate that the particle filtering based inference of CT-Map provides improved object detection and pose estimation with respect to baseline methods that treat observations as independent samples of a scene.

研究の動機と目的

• ロボットがストリーミングRGB-D観測から対象クラスと6自由度ポーズを同時に推論できる意味的マップを構築すること。
• 対象間の文脈的関係とポーズの時間的整合性をモデル化することで、ノイズの多い対象検出器出力への耐性を向上させること。
• 独立した観測処理の限界を克服するため、確率的依存関係を組み込んだ生成的推論を統合すること。
• 信念推定による対象状態の推論により、ごみだらけで遮蔽されたり外観が変わった環境でも正確な意味的マッピングを達成すること。
• 現実のロボット展開において、文脈的および時間的事前知識が検出および局所化性能を顕著に向上させることを実証すること。

提案手法

• CT-Mapは、対象クラスおよび6自由度ポーズの信念推定問題として意味的マッピングを定式化し、条件付きランダムフィールド（CRF）を用いる。
• CRFは、観測に関する測定潜在変数、対象間の文脈的関係潜在変数、ポーズ系列の時間的整合性潜在変数の3種類の潜在変数を組み込む。
• 文脈的潜在変数は、対象カテゴリの共起確率（例：食品類）と物理的妥当性（例：重なりや浮遊対象なし）を強制する。
• 時間的整合性潜在変数は、対象恒続性をモデル化し、特に遮蔽時においても一貫したポーズを好む。
• 粒子フィルタリングアルゴリズムが、CT-Mapモデルにおける近似的推論を実行し、観測に対して反復的に対象ポーズの仮説をサンプリングおよび評価する。
• 検出器出力に対するハードな意思決定を回避するため、対象検出と局所化を生成的推論により同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 検出を独立したサンプルとして扱うのではなく、対象クラスと6自由度ポーズを同時に推論することで、検出精度が向上するか？
• RQ2 共起性や物理的妥当性といった文脈的対象関係は、意味的マッピングの耐性をどのように向上させるか？
• RQ3 対象ポーズの時間的整合性をモデル化することで、遮蔽や外観変化時における局所化精度がどの程度向上するか？
• RQ4 生成的で信念に基づくアプローチは、ICP や FPFH といった判別的手法を上回る6自由度ポーズ推定を達成できるか？
• RQ5 文脈的および時間的事前知識の統合は、ごみだらけの現実世界環境における性能にどのように影響を与えるか？

主な発見

• CT-MapはFaster R-CNNよりも顕著に検出精度が高く、シャンプーのボトルをミルクと誤認するような誤分類を効果的に是正する。
• 以前の観測からの時間的整合性を活用することで、テーブルクロスに覆われたテーブルのような対象を効果的に検出する。
• CT-MapはICP や FPFH よりも優れた6自由度ポーズ推定を達成し、位置および回転誤差の両方の閾値において大きな差を示す。
• 文脈的関係を組み込むことで、CT-Mapは意味的妥当性に基づいて分類ラベルを是正でき、たとえば文脈的に不整合な場合に「ローファ」を「ボウル」に是正する。
• 粒子フィルタリングに基づく推論により、局所的最適解への感受性が低減し、判別的登録手法よりもより頑健なポーズ推定が可能になる。
• 部分的または完全な遮蔽時でも信念を維持する能力により、CT-Mapは対象恒続性を一般化し、長期的なマッピング信頼性を向上させる。