[論文レビュー] Towards Generation and Evaluation of Comprehensive Mapping Robot Datasets

Hongyu Chen, Xiting Zhao+9 more|arXiv (Cornell University)|May 23, 2019

Robotics and Sensor-Based Localization参考文献 20被引用数 7

ひとこと要約

本論文は、外部追跡システムとプロフェッショナルな3Dスキャナを備えたハードウェア同期型マッピングロボットを提示し、SLAM評価のための高精度で再現可能なデータセットを生成する。3つのデータセット（MARS-8、MARS-Loop、MARS-NoLoop）を導入し、2次元、3次元、視覚SLAMアルゴリズムのベンチマーク評価を可能にした。結果として、レーザー基盤のSLAMが視覚SLAMを上回り、ループクロージャーが局所化誤差を顕著に低減することが示された。

ABSTRACT

This paper presents a fully hardware synchronized mapping robot with support for a hardware synchronized external tracking system, for super-precise timing and localization. We also employ a professional, static 3D scanner for ground truth map collection. Three datasets are generated to evaluate the performance of mapping algorithms within a room and between rooms. Based on these datasets we generate maps and trajectory data, which is then fed into evaluation algorithms. The mapping and evaluation procedures are made in a very easily reproducible manner for maximum comparability. In the end we can draw a couple of conclusions about the tested SLAM algorithms.

研究の動機と目的

• シミュレート済みまたはトラジェクトリのみの評価にとどまらない包括的で再現可能なベンチマークデータセットの不足に対処すること。
• ハードウェア同期センサーとプロフェッショナルな3Dスキャナを用いて、正確な真値局所化とマッピングを実現する実世界のデータセットを生成すること。
• 標準化されたROSベースのパイプラインと公開された評価ツールを用いて、公平で再現可能なSLAM性能評価を可能にすること。
• ループクロージャー有無の条件下で、レーザー基盤SLAM、3次元SLAM、視覚SLAMアルゴリズムの性能を制御された環境下で比較すること。
• 今後のベンチマーク評価の基盤を提供するため、データセット、ROS起動ファイル、評価スクリプトをコミュニティが再利用可能な形で公開すること。

提案手法

• センサのハードウェア同期を実現するため、Vicon外部追跡システムに接続された9台の500万画素ワイドアングルカメラ、水平方向のVelodyne LiDAR、垂直方向のVelodyne LiDARを搭載したClearpath Jackalロボットを展開し、センチメートルレベルの局所化精度を達成した。
• マップ評価のため、環境の高解像度静的真値3次元点群を取得するためにFaro Focus 3Dスキャナを用いた。
• 3つの異なるデータセット（MARS-8（短いループ）、MARS-Loop（長いループ）、MARS-NoLoop（長い非ループ経路））を収集し、すべてのデータセットで追跡システムのカバー範囲が重複するようにした。
• ROS起動ファイルを用いて完全な再現性を確保できるように、原始センサデータから標準SLAMソフトウェア（Hector Mapping、Cartographer、BLAM）を用いて2次元および3次元マップを生成した。
• ZhangとScaramuzza（2018）が開発したトラジェクトリ評価ソフトウェアを用いて定量的評価を実施し、推定されたトラジェクトリと追跡されたトラジェクトリとの間の絶対的移動誤差を計算した。
• マップ品質の妥当性を検証するため、CloudCompareを用いてロボットが生成した点群をFaroの真値に登録し、RMS誤差（理論的重複率90%時、0.084 m）を算出した。

実験結果

リサーチクエスチョン

• RQ1 一貫したセンサノイズと運動ダイナミクスを持つ実環境において、ループクロージャーは2次元および3次元SLAMシステムの精度にどのように影響を与えるか？
• RQ2 高精度な真値マップおよび真値トラジェクトリを基準に評価した場合、レーザー基盤SLAMアルゴリズムは視覚SLAMアルゴリズムをどの程度上回るのか？
• RQ3 外部追跡システムとプロフェッショナルな3Dスキャナを備えたハードウェア同期型ロボットプラットフォームは、再現可能で高精細なデータセットを生成でき、SLAMシステムのベンチマーク評価に適していると評価できるか？
• RQ4 Hector Mapping、Cartographer、BLAM、ORB2といった異なるSLAMアルゴリズムは、ループクロージャー有無の条件下で、トラジェクトリ誤差およびマップ整合性の観点からどの程度の性能を示すか？
• RQ5 ロボットが生成した点群とFaroの真値との間のマップ品質の定量的差異は何か？また、これは異なるデータセット間でどのように変化するか？

主な発見

• Hector MappingはMARS-8およびMARS-Loopデータセットで約10 cmの移動誤差を達成し、ループクロージャーが有効な状況下での高い精度を示した。
• ループクロージャーを欠如するMARS-NoLoopデータセットでは、誤差が著しく増加（約1 m）し、ドリフト低減におけるループクロージャーの重要性が明確に示された。
• CartographerはMARS-Loopデータセットでマップが破損したが、これは2次元SLAMがループクロージャーが適切に解決されない場合に不安定になることを示している。
• BLAMはMARS-NoLoopにおけるダブルカーテンなどの構造的特徴を正確に再現する高品質な3次元マップを生成し、Faro真値と比較してRMS誤差0.084 mを達成した。
• 単一の前方カメラを用いた視覚SLAM（ORB2）は、評価されたすべてのアルゴリズムの中で最も高い誤差を示し、MARS-NoLoopデータセットではトラッキングの失敗が発生した。
• レーザー基盤3次元SLAM（BLAM）は、トラジェクトリ精度およびマップ整合性の両面で視覚SLAM（ORB2）を上回り、複雑な屋内環境におけるLiDARの頑健性を確認した。