[論文レビュー] Dual Quadrics from Object Detection BoundingBoxes as Landmark Representations in SLAM

Niko Sünderhauf, Michael Milford|arXiv (Cornell University)|Aug 3, 2017

Robotics and Sensor-Based Localization参考文献 22被引用数 15

ひとこと要約

本論文では、要因グラフに基づくSLAMにおいて、2次曲面を3次元ランドマークの表現として用いることを提案し、2次元のオブジェクト検出バウンディングボックスから直接そのパラメータを制約する。モノクローラルおよび深度補強された設定において、ロボットの自己位置と2次曲面パラメータを同時に最適化することで、トラジェクトリとマップの精度が向上することを示しており、事前にあるCADモデルや楕円フィッティングを必要としないオブジェクトレベルのランドマークを用いたセマンティックSLAMを実現する。

ABSTRACT

Research in Simultaneous Localization And Mapping (SLAM) is increasingly moving towards richer world representations involving objects and high level features that enable a semantic model of the world for robots, potentially leading to a more meaningful set of robot-world interactions. Many of these advances are grounded in state-of-the-art computer vision techniques primarily developed in the context of image-based benchmark datasets, leaving several challenges to be addressed in adapting them for use in robotics. In this paper, we derive a formulation for Simultaneous Localization And Mapping (SLAM) that uses dual quadrics as 3D landmark representations, and show how 2D bounding boxes (such as those typically obtained from visual object detection systems) can directly constrain the quadric parameters. Our paper demonstrates how to jointly estimate the robot pose and dual quadric parameters in factor graph based SLAM with a general perspective camera, and covers the use-cases of a robot moving with a monocular camera with and without the availability of additional depth information.

研究の動機と目的

• 幾何的点の代わりにオブジェクトレベルのランドマークを用いてセマンティックSLAMを可能にし、ロボットと世界の相互作用能力を向上させること。
• 現代のオブジェクト検出出力を利用せずに、より豊かな世界表現を実現できないSLAMシステムのギャップを埋めること。
• Faster R-CNN や SSD などの最先端の検出器から得られる2次元バウンディングボックスを直接用いて、3次元ランドマークをパrametrizeする直接的で効率的な手法を開発すること。
• 2次曲面を一般のパースペクティブカメラSLAMフレームワークに統合し、従来の直行投影または事前処理依存の手法の制限を回避すること。
• モノクローラルおよび深度補強された状況下での、2次曲面ランドマークがトラジェクトリとマップの精度に与える影響を評価すること。

提案手法

• 3次元オブジェクトランドマークを、形状・サイズ・位置・姿勢をコンactに表現できる双対2次曲面としてパラメータ化する。
• 2次元オブジェクト検出バウンディングボックスと双対2次曲面パラメータの間の閉形式の関係を導出し、要因グラフ内での直接制約を可能にする。
• パースペクティブ射影モデルを用いて、ロボットの自己位置と双対2次曲面パラメータを同時に最適化する要因グラフベースのSLAMシステムを定式化する。
• オブジェクト検出結果を要因グラフ内の要因として統合し、2次元ボックス座標に加え、深度センサからの相対的自己位置観測（必要に応じて）を活用する。
• 双対2次曲面表現を用いて、モノクローラルシーケンスにおける積算オドメトリのずれを補正するループクロージャーを実現する。
• 楕円フィッティングなどの事前処理を回避し、バウンディングボックスから直接2次曲面を推定することで、耐障害性と効率性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルによる2次元オブジェクト検出バウンディングボックスを、SLAMにおける3次元双対2次曲面ランドマークパラメータの制約に直接利用可能か？
• RQ2 オドメトリのみの推定と比較して、双対2次曲面をランドマークとして用いることで、モノクローラルSLAMにおけるトラジェクトリとマップの精度がどのように向上するか？
• RQ3 深度センサからの相対的自己位置観測を追加することで、双対2次曲面ベースのSLAMの性能にどのような影響を与えるか？
• RQ4 楕円フィッティングや直行投影カメラの仮定を必要とする先行研究と比較して、本手法はどのように優れているか？
• RQ5 双対2次曲面は、セマンティックSLAMにおけるより詳細な3次元再構成のアンカーポイントとして機能可能か？

主な発見

• 双対2次曲面パラメータとロボット自己位置を同時に最適化するSLAM手法により、トラジェクトリ誤差が顕著に低減され、モノクローラル状況下で平均位置RMSEが5.31から1.75に低下した。
• 中央値位置RMSEは4.03から0.63に低下し、ランドマークの再観測によるオドメトリのずれの強力な補正が示された。
• 深度センサからの相対的自己位置観測を組み込むことで性能がさらに向上し、平均位置RMSEは1.75、中央値は0.63に低下した。
• ランドマークの中央値位置誤差は2.86、中央値体積誤差は0.12であり、物体のサイズと形状の正確な推定が可能であることが示された。
• 僅かなオドメトリしか利用しないモノクローラルモードでも、ループクロージャーによりトラジェクトリ誤差が補正されることから、オブジェクトベースランドマークの価値が示された。
• 平面的なカメラ運動下ではシステムに不安定性と収束不良が見られたため、このような状況ではより良い制約または初期化が必要であると示唆された。