[論文レビュー] Simultaneous Localization and Mapping Related Datasets: A Comprehensive Survey

Yuanzhi Liu, Yujia Fu+4 more|arXiv (Cornell University)|Feb 8, 2021

Robotics and Sensor-Based Localization参考文献 222被引用数 10

ひとこと要約

本論文は、SLAM関連データセットの包括的サーベイを提示し、収集手法、特徴、分類、評価基準を分析している。既存のデータセットにおける制限を特定し、SLAMタスクの体系的分類を提示し、データセット選定および将来のデータセット開発のための実行可能な知見を提供することで、SLAMベンチマークと研究の再現可能性を向上させることを目的としている。

ABSTRACT

Due to the complicated procedure and costly hardware, Simultaneous Localization and Mapping (SLAM) has been heavily dependent on public datasets for drill and evaluation, leading to many impressive demos and good benchmark scores. However, with a huge contrast, SLAM is still struggling on the way towards mature deployment, which sounds a warning: some of the datasets are overexposed, causing biased usage and evaluation. This raises the problem on how to comprehensively access the existing datasets and correctly select them. Moreover, limitations do exist in current datasets, then how to build new ones and which directions to go? Nevertheless, a comprehensive survey which can tackle the above issues does not exist yet, while urgently demanded by the community. To fill the gap, this paper strives to cover a range of cohesive topics about SLAM related datasets, including general collection methodology and fundamental characteristic dimensions, SLAM related tasks taxonomy and datasets categorization, introduction of state-of-the-arts, overview and comparison of existing datasets, review of evaluation criteria, and analyses and discussions about current limitations and future directions, looking forward to not only guiding the dataset selection, but also promoting the dataset research.

研究の動機と目的

• 収集手法、特徴、評価基準を網羅的にカバーする統一的かつ包括的なSLAM関連データセットサーベイの不足に対処すること。
• SLAMアルゴリズムの評価や実装性能に歪みをもたらす可能性がある、既存データセットのバイアスおよび制限を特定すること。
• 研究者が特定の研究目的に適したデータセットを選定できるように、SLAMタスクおよびデータセットの体系的分類を提供すること。
• 現在の評価手法を分析し、データセットの過剰使用による一貫性の欠如や過適合のリスクを明らかにすること。
• 未開拓の環境やデータの多様性を向上させた、より強固なSLAM開発を支援する新たなデータセット作成のための将来の方向性を提案すること。

提案手法

• 環境タイプ、センサー構成、タスク関連性に基づいて、SLAM関連データセットを体系的に収集・分類する。
• 空間スケール、センサーモダリティ、アノテーション品質、時間分解能を含む多次元フレームワークを用いて、データセットの特徴付けを確立する。
• 視覚、LiDAR、マルチセンサースラムなどのSLAMタスクの分類を提示し、データセットの能力と整合性を保つ。
• 精度、カバレッジ、アクセス可能性などの主要な次元において、50以上もの公開済みデータセットをレビュー・比較する。
• ベンチマークで用いられる評価プロトコルを分析し、特定のデータセットに特化したアルゴリズムの過適合といった一般的な落とし穴を特定する。
• 環境バイアス、データの疎らさ、現実世界の多様性の欠如といった、データセットの制限要因を厳密にレビューする。

実験結果

リサーチクエスチョン

• RQ1 既存のSLAM関連データセットの基本的特徴と収集手法は何か？
• RQ2 SLAMデータセットは現在どのように分類されており、どのようなタスクを最も効果的にサポートしているか？
• RQ3 現在のSLAMデータセットに存在する主な制限は何か。それらはアルゴリズムの評価や現実世界への展開にどのように影響を及えるか？
• RQ4 既存の評価基準は、アルゴリズムの性能とデータセット間での一般化能力にどのように影響を与えているか？
• RQ5 より代表的で多様なSLAMデータセットを構築するにあたり、最も有望な将来の方向性は何か？

主な発見

• 広く使われている多くのSLAMデータセットは、環境的・センサーバイアスを示しており、結果としてアルゴリズムの性能が過大評価され、過適合が生じる傾向にある。
• 多数のデータセットが屋内または制御された環境に限定されており、屋外や長期運用に向けた実用性が低い。
• 評価プロトコルは、データセット固有の特徴により特定のアルゴリズムに有利に働くことが多く、公平なベンチマークを損なう。
• データセット間でメタデータやアノテーション品質の標準化が不足しており、再現性やデータセット間比較が困難である。
• 既存のデータセットは長期間のシーケンス、動的物体のアノテーション、マルチモードセンサーの同期を頻繁に欠落しており、強固で汎用性の高いSLAMシステムの研究を制限している。
• 本サーベイは、特に屋外、都市部、長期的な環境をカバーする新しいデータセットの必要性が極めて高いと特定した。特に、豊富な意味的および動的アノテーションを備えた実世界のシナリオが求められている。