[論文レビュー] TartanAir: A Dataset to Push the Limits of Visual SLAM

Wenshan Wang, Delong Zhu+7 more|arXiv (Cornell University)|Mar 31, 2020

Robotics and Sensor-Based Localization参考文献 31被引用数 26

ひとこと要約

TartanAir は、動的オブジェクト、可変照明、多様な天候状態を組み込んだ、大規模で写真実写に近いシミュレーションデータセットであり、視覚的SLAMアルゴリズムの性能を試すことを目的としています。多様な環境においてマルチモーダルセンサデータと正確な真値を提供し、最先端のSLAM手法が現実の複雑さに対して失敗することを明らかにしたことで、より強固な実世界向けアルゴリズムの開発を促進しています。

ABSTRACT

We present a challenging dataset, the TartanAir, for robot navigation tasks and more. The data is collected in photo-realistic simulation environments with the presence of moving objects, changing light and various weather conditions. By collecting data in simulations, we are able to obtain multi-modal sensor data and precise ground truth labels such as the stereo RGB image, depth image, segmentation, optical flow, camera poses, and LiDAR point cloud. We set up large numbers of environments with various styles and scenes, covering challenging viewpoints and diverse motion patterns that are difficult to achieve by using physical data collection platforms. In order to enable data collection at such a large scale, we develop an automatic pipeline, including mapping, trajectory sampling, data processing, and data verification. We evaluate the impact of various factors on visual SLAM algorithms using our data. The results of state-of-the-art algorithms reveal that the visual SLAM problem is far from solved. Methods that show good performance on established datasets such as KITTI do not perform well in more difficult scenarios. Although we use the simulation, our goal is to push the limits of Visual SLAM algorithms in the real world by providing a challenging benchmark for testing new methods, while also using a large diverse training data for learning-based methods. Our dataset is available at \url{http://theairlab.org/tartanair-dataset}.

研究の動機と目的

• 複雑な環境における視覚的SLAMのための多様で現実的かつ挑戦的なベンチマークの不足に対処すること。
• 物理的データ収集の限界を克服し、シミュレーション内で大規模で制御可能かつ繰り返し可能なデータ生成を可能にすること。
• 正確な真値を伴う高精細なマルチモーダルセンサデータ（ステレオRGB、深度、セマンティックセグメンテーション、オプティカルフロー、ポーズ、LiDARなど）を提供し、評価の正確性を確保すること。
• 動的運動、悪化した照明、悪天候などの極限状態における視覚的SLAMアルゴリズムの耐性を評価すること。
• 学習ベースおよび従来の視覚的SLAM手法の発展を支援するベンチマークおよびトレーニングリソースとしての役割を果たすこと。

提案手法

• 本データセットは、高い視覚的忠実度で多様な屋内・屋外環境をレンダリングする写真実写に近いシミュレーションエンジンを用いて生成された。
• 自動化されたパイプラインにより、実世界のシーンをマッピングし、多様なトラジェクトリをサンプリングし、動的エージェントおよび環境変化をシミュレートすることで環境を生成する。
• ステレオRGB、深度、セマンティックセグメンテーション、オプティカルフロー、カメラポーズ、LiDARを含むマルチモーダルセンサデータが、正確な真値とともに記録された。
• 変化する照明条件、天候効果（例：雨、霧）、および移動するオブジェクトを含むシミュレーションにより、シナリオの複雑さが向上した。
• データの整合性と正確性を全シーケンスにわたって保証するためのデータ検証および品質管理パイプラインが整備された。
• 視覚的SLAM分野における再現可能性の高い研究とベンチマークを支援するため、本データセットは公開された。

実験結果

リサーチクエスチョン

• RQ1 最先端の視覚的SLAMアルゴリズムは、動的オブジェクトや変化する照明といった極限環境下でどのように性能を発揮するか？
• RQ2 KITTIなどの既存のデータセットは、視覚的SLAMにおける現実世界の課題をどれほど適切に反映していないか？
• RQ3 高いリアルリズムと多様性を持つシミュレーションベースのデータセットは、視覚的SLAMのトレーニングおよびベンチマークリソースとして効果的に機能できるか？
• RQ4 ステレオ、LiDAR、オプティカルフローなどの異なるセンサモダリティは、複雑なシーンにおけるSLAMの耐性にどのように寄与するか？
• RQ5 現在のSLAMシステムは、挑戦的な運動パターンや環境の動的変化にさらされた際に、どのような主な失敗モードを示すか？

主な発見

• KITTIで良好な性能を示す最先端の視覚的SLAMアルゴリズムは、TartanAirのより複雑で動的な環境下では著しく性能を落とす。
• 動的オブジェクトや変化する照明条件の存在が、先進的なSLAMシステムの性能を著しく低下させることを示し、未解決の課題が依然として存在することを示している。
• 視覚特徴にのみ依存するアルゴリズムは、運動ブラー、遮蔽、動的シーン要因に対して苦戦し、マルチモーダル融合の必要性が浮き彫りになった。
• 本データセットは、現在のSLAMパイプラインが、大規模データでトレーニングされたとしても、現実世界に類似した環境変化に対しては耐性が低いことを明らかにした。
• 高いリアルリズムを持つ合成データの使用は、効果的な一般化とベンチマーク評価を可能にし、アルゴリズム開発における価値を示している。
• 評価フレームワークは、すべてのTartanAirシーケンスで高い正確性を達成する既存の手法が存在しないことを示しており、視覚的SLAMが依然としてオープンな研究課題であることを確認した。