[論文レビュー] ALITA: A Large-scale Incremental Dataset for Long-term Autonomy

Peng Yin, Shiqi Zhao+6 more|arXiv (Cornell University)|May 22, 2022

Robotics and Sensor-Based Localization被引用数 8

ひとこと要約

ALITA は、都市部およびキャンパスのトラックにわたる LiDAR およびオムニディレクショナルカメラデータを含む大規模で長期的な場所認識データセットであり、動的環境変化下での耐性を評価することを目的としています。120 km の都市部トラジェクトリと 50 km のキャンパス部トラジェクトリをカバーし、真値、時間的多様性、視点変化を備えたベンチマーク評価を可能にし、Python API と AIcrowd 結合により最先端の評価を実現しています。

ABSTRACT

For long-term autonomy, most place recognition methods are mainly evaluated on simplified scenarios or simulated datasets, which cannot provide solid evidence to evaluate the readiness for current Simultaneous Localization and Mapping (SLAM). In this paper, we present a long-term place recognition dataset for use in mobile localization under large-scale dynamic environments. This dataset includes a campus-scale track and a city-scale track: 1) the campus-track focuses the long-term property, we record LiDAR device and an omnidirectional camera on 10 trajectories, and each trajectory are repeatly recorded 8 times under variant illumination conditions. 2) the city-track focuses the large-scale property, we mount the LiDAR device on the vehicle and traversing through a 120km trajectories, which contains open streets, residential areas, natural terrains, etc. They includes 200 hours of raw data of all kinds scenarios within urban environments. The ground truth position for both tracks are provided on each trajectory, which is obtained from the Global Position System with an additional General ICP based point cloud refinement. To simplify the evaluation procedure, we also provide the Python-API with a set of place recognition metrics is proposed to quickly load our dataset and evaluate the recognition performance against different methods. This dataset targets at finding methods with high place recognition accuracy and robustness, and providing real robotic system with long-term autonomy. The dataset and the provided tools can be accessed from https://github.com/MetaSLAM/ALITA.

研究の動機と目的

• 自律システムにおける場所認識を評価するための、大規模で長期的かつ多様な実世界データセットの不足に対処すること。
• 実都市およびキャンパス環境における時間的および視点的変化を捉えたベンチマークデータセットを提供すること。
• 照明、季節変化、視点変化などの現実的な条件下で、学習ベースおよび非学習ベースの両方の手法を評価できること。
• 高精度な真値と標準化された評価プロトコルを提供することで、長期的自律性の実現を支援すること。
• オープンソースのデータとツールを通じて、今後の LiDAR-画像統合、マップ統合、耐障害ローカライゼーション分野の研究を促進すること。

提案手法

• 120 km の都市部トラックに LiDAR データ、50 km のキャンパス部トラックに LiDAR およびオムニディレクショナルカメラ データを含むデータセットを構築。それぞれ異なる条件下で複数回記録された。
• 各キャンパストラジェクトリは、異なる照明条件下で8回記録され、照明の耐性評価が可能になった。
• GPS を用いた位置真値に加え、一般化 ICP を用いた点群の最適化を実施し、1m未満の精度を達成した。
• 標準的な指標（例：Recall@1）を用いたパフォーマンス評価、データ読み込み、クエリフレームおよびデータベースフレームの生成を簡素化するための Python-API を開発した。
• データセットは、場所認識およびマップ統合の両方のタスクをサポートしており、都市部トラジェクトリのフレームペアに対して重複真値が提供されている。
• AIcrowd 上のオンライン評価プラットフォームを統合し、新規モデルの標準化されたベンチマーク評価を可能にした。

実験結果

リサーチクエスチョン

• RQ1 最先端の LiDAR ベースおよびビジョンベースの場所認識モデルは、長期的で大規模かつ動的環境変化下でどのように性能を発揮するか？
• RQ2 実世界の都市およびキャンパス環境において、視点および照明の変化が検索精度に与える影響は何か？
• RQ3 既存のモデルは、実世界のデータセットにおける異なるトラジェクトリおよび環境条件下で、効果的に一般化できるか？
• RQ4 前進および逆方向の移動において、トランスレーションおよび視点のずれがモデルの性能にどのように影響するか？
• RQ5 ALITA データセットは、マップ統合およびローカライゼーションシステムの強力な評価をどの程度支援できるか？

主な発見

• PointNetVLAD は、都市部データセットの前進方向で最高の Recall@1 を達成し、中程度の視点および移動変化下でも優れた性能を示した。
• SphereVLAD は、都市部データセットの逆方向で他のモデルを上回り、大規模な視点変化に対してより高い耐性を示した。
• キャンパス部データセットでは、MinkLoc3D が前進および逆方向の両方で最高の性能を示し、高い視点多様性下でも優れた一般化能力を示した。
• すべてのモデルの平均 Recall@1 は、キャンパス部データセットでは都市部データセットよりも顕著に低く、視点多様性の高さに起因する課題の大きさを示している。
• データセットのトラジェクトリ間の高い重複度と高精度な真値により、マップ統合およびローカライゼーションシステムの信頼性ある評価が可能になった。
• 提供された Python-API と AIcrowd 結合により、多様な環境条件下での新規モデルの迅速かつ標準化されたベンチマーク評価が可能になった。