[論文レビュー] Segway DRIVE Benchmark: Place Recognition and SLAM Data Collected by A Fleet of Delivery Robots

Jianzhu Huai, Yusen Qin+2 more|arXiv (Cornell University)|Jul 8, 2019

Robotics and Sensor-Based Localization参考文献 24被引用数 8

ひとこと要約

本論文は、オフィスビルやショッピングモールなどの動的で屋内な環境で運用される配送ロボットのフリートによって収集された大規模かつ現実世界のデータセット、Segway DRIVE Benchmarkを紹介する。低価格のセンサと高精度なライダーを装備し、動的歩行者、照明の変化、平面運動といった挑戦的な状況を捉え、SLAMおよびメトリック場所認識手法の厳密な評価を可能にする。本ベンチマークでは、局所化頻度と外れ値レートを評価する新しいパフォーマンス指標を導入している。

ABSTRACT

Visual place recognition and simultaneous localization and mapping (SLAM) have recently begun to be used in real-world autonomous navigation tasks like food delivery. Existing datasets for SLAM research are often not representative of in situ operations, leaving a gap between academic research and real-world deployment. In response, this paper presents the Segway DRIVE benchmark, a novel and challenging dataset suite collected by a fleet of Segway delivery robots. Each robot is equipped with a global-shutter fisheye camera, a consumer-grade IMU synced to the camera on chip, two low-cost wheel encoders, and a removable high-precision lidar for generating reference solutions. As they routinely carry out tasks in office buildings and shopping malls while collecting data, the dataset spanning a year is characterized by planar motions, moving pedestrians in scenes, and changing environment and lighting. Such factors typically pose severe challenges and may lead to failures for SLAM algorithms. Moreover, several metrics are proposed to evaluate metric place recognition algorithms. With these metrics, sample SLAM and metric place recognition methods were evaluated on this benchmark. The first release of our benchmark has hundreds of sequences, covering more than 50 km of indoor floors. More data will be added as the robot fleet continues to operate in real life. The benchmark is available at http://drive.segwayrobotics.com/#/dataset/download.

研究の動機と目的

• 学術的なSLAM／研究用ベンチマークと実世界での展開の間のギャップを埋めるために、実際の運用状況を代表するデータセットを提供すること。
• 動的障害物、照明の変化、平面運動といった現実の課題に直面した大規模かつ長期的なデータセットを収集すること。
• メトリック場所認識の評価に向け、局所化頻度と外れ値レートに焦点を当てた新しい指標を提案・検証すること。
• 高精度なライダーから得られる真値ポーズを用いて、SLAMおよび場所認識アルゴリズムの再現可能なベンチマーク評価を可能にすること。
• コミュニティによる利用と拡張を支援するため、データセットと評価ツールをオンラインで公開すること。

提案手法

• データは、RealSenseのビジュアルインertシャルセンサ、2つのホイールエンコーダ、および真値ポーズ生成用に取り外し可能なHokuyo 2Dライダーを装備したSegway配送ロボットのフリートを用いて収集された。
• 各ロボットは、SLAMマップ作成のためのマッピングシーケンスと、1年間にわたり同じルートを繰り返し走行する局所化シーケンスを記録した。
• 真値ポーズは、ライダーのスキャンを1つの基準フレームに統合することで生成され、高精度な軌道再構築が保証された。
• ベンチマークには、5つの異なる場所をカバーする50 km以上の屋内ナビゲーションを含む、数100のシーケンスが含まれている。
• メトリック場所認識の評価に向け、PRF（場所認識頻度）とマッピングシーケンスに対する外れ値レートを含む、新しい評価指標が導入された。
• 評価スクリプトとツールはオンラインで公開され、SLAMおよび場所認識手法の標準化されたベンチマーク評価を可能にした。

実験結果

リサーチクエスチョン

• RQ1 動的歩行者や照明の変化といった現実世界の条件下で、最先端のSLAMおよびメトリック場所認識手法はどの程度の性能を示すか？
• RQ2 既存のSLAMアルゴリズムは、ビジュアルインエラシャルシステムにおける平面運動や観測不能状態の下で、どの程度失敗または性能が低下するか？
• RQ3 提案された指標（PRFおよび外れ値レート）は、長期的かつ繰り返しナビゲーションにおける視覚的局所化の信頼性と一貫性を効果的に捉えられるか？
• RQ4 改装や時間帯による照明変化といった環境変化は、場所認識およびSLAMシステムの頑健性にどの程度影響を与えるか？
• RQ5 高精度な真値ポーズを備えた大規模かつ長期的な現実世界ベンチマークで評価された場合、メトリック場所認識手法のパフォーマンスはどのようになるか？

主な発見

• Segway DRIVE Benchmarkは、1年間にわたり5つの屋内場所で収集された100以上のシーケンスを含み、50 km以上のナビゲーションをカバーしている。
• ベンチマークは、動的歩行者（例：1つのシーケンスで624回の再局所化）、照明の変化、構造的変更といった顕著な現実世界の課題を捉えている。
• 提案されたPRF指標は、局所化頻度に顕著なばらつきが生じることを示し、一部のシーケンスでは1mあたりたった0.009回の再局所化（例：2018-11-22_17-33-32）にとどまり、高い失敗率を示している。
• 外れ値レートは100mあたり0〜6.5まで変動し、最高値6.5はシーケンス2018-12-27_15-46-23で観測され、堅牢な局所化の難しさが浮き彫りになった。
• ベンチマークを用いた評価では、最先端の手法ですら一貫性に欠けることが判明し、特に動的コンテンツが多く、環境が変化するシーケンスで顕著だった。
• ベンチマークは、標準的なSLAM指標だけでは長期的な局所化の信頼性を十分に捉えられないことを示し、頻度および外れ値に配慮した指標の導入の必要性を裏付けた。