[論文レビュー] MCD: Diverse Large-Scale Multi-Campus Dataset for Robot Perception

Thien‐Minh Nguyen, Shenghai Yuan+9 more|arXiv (Cornell University)|Mar 18, 2024

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、低コストのNREライダー、カメラ、IMU、UWBを含む多様なセンシングモダリティを有する大規模かつマルチキャンパスのデータセットMCDを紹介する。59,000件のNREスキャンに対して29クラスのポイントワイズセマンティックアノテーションが付与されている。本研究では、調査用マップを基準として非線形最適化によるライダーインertial登録を用いて連続時間の真値を提案し、SOTAの3次元セマンティックセグメンテーションモデルがNREライダーに適用された際、mIoUが25%以上も低下することが明らかになった。これは一般化性と耐障害性における重要な課題を示している。

ABSTRACT

Perception plays a crucial role in various robot applications. However, existing well-annotated datasets are biased towards autonomous driving scenarios, while unlabelled SLAM datasets are quickly over-fitted, and often lack environment and domain variations. To expand the frontier of these fields, we introduce a comprehensive dataset named MCD (Multi-Campus Dataset), featuring a wide range of sensing modalities, high-accuracy ground truth, and diverse challenging environments across three Eurasian university campuses. MCD comprises both CCS (Classical Cylindrical Spinning) and NRE (Non-Repetitive Epicyclic) lidars, high-quality IMUs (Inertial Measurement Units), cameras, and UWB (Ultra-WideBand) sensors. Furthermore, in a pioneering effort, we introduce semantic annotations of 29 classes over 59k sparse NRE lidar scans across three domains, thus providing a novel challenge to existing semantic segmentation research upon this largely unexplored lidar modality. Finally, we propose, for the first time to the best of our knowledge, continuous-time ground truth based on optimization-based registration of lidar-inertial data on large survey-grade prior maps, which are also publicly released, each several times the size of existing ones. We conduct a rigorous evaluation of numerous state-of-the-art algorithms on MCD, report their performance, and highlight the challenges awaiting solutions from the research community.

研究の動機と目的

• 自動運転のシナリオを超えた、多様で大規模かつ良好にアノテーションが付与されたデータセットが不足している問題に対処すること。
• スパarsityと不規則なスキャンのため、セマンティックセグメンテーション分野で未だ十分に調査されていない低コストで非反復的エピサイクリック（NRE）ライダーの研究を可能にすること。
• 調査用マップを前提としてライダーインエラストリックデータを最適化することで、SLAMおよびローゼーションの高精度で連続時間の真値を提供すること。
• 照明の変化、ガラスの反射、非視線距離UWB効果といった課題を露呈させることで、耐障害性の高いビジョンアルゴリズムの開発を促進すること。
• アジア、ヨーロッパ、ドイツの3つの地理的・環境的に異なる大学キャンパスでデータ収集を行うことで、ドメイン一般化研究を支援すること。

提案手法

• データはアジア、ヨーロッパ、ドイツの3つの大学キャンパスで収集され、多様な環境的条件と建築様式をカバーしている。
• 複数のセンサーを統合している：従来の回転式ライダー（CCS）、MEMSベースのNREライダー、高周波数IMU、複数の基準距離を持つRGBカメラ、UWBアンカー。
• 29のオブジェクトクラスにわたり、59,000件のNREライダー スキャンに対して手動でセマンティックアノテーションが作成され、このモダリティにおける最初の大規模セマンティックデータセットとなった。
• 非線形最適化フレームワークを用いて、事前に構築された高精度の調査用マップに対してライダーインエラストリックトラジェクトリを最適化することで、連続時間の真値が生成された。
• 真値は任意の時間および密度サンプリングをサポートしており、AR/VRおよびリアルタイムロボティクスアプリケーションにおける高精細な評価を可能にしている。
• 運動歪みありおよび運動補正済みのライダー データが含まれており、研究者が運動ブラーが認識モデルに与える影響を調査できる。

実験結果

リサーチクエスチョン

• RQ1 Cylindricalライダーで訓練されたSOTA 3次元セマンティックセグメンテーションモデルは、NREライダーのよりスパarserかつ不規則なポイントクラウドに一般化可能か？
• RQ2 異なるキャンパス間でのドメインシフトが、既存のSLAMおよび認識アルゴリズムの性能にどのように影響するか？
• RQ3 生のNREライダー スキャンにおける運動歪みが認識システムの性能をどの程度低下させるのか、そしてどのように緩和できるか？
• RQ4 連続時間の真値は、大規模環境におけるSLAMおよびローゼーションの精度と信頼性を向上させることができるか？
• RQ5 太陽放射干渉、ガラスの反射、極端な照明変化といった環境的課題が認識システムの耐障害性にどのように影響するか？

主な発見

• すべてのSOTA 3次元セマンティックセグメンテーションモデルは、NREライダー スキャンにテストされた際、SemanticKITTIで訓練した場合と比較して相対的にmIoUが25%以上低下し、このモダリティへの一般化が不十分であることが示された。
• シリンダーモデルや投影ベース表現（例：SalsaNext、Cylinder3D）に依存する手法は、NREポイントクラウドのパターンと不適合であるため、最も深刻な性能低下を示した。
• ボクセルベースのモデル（例：MKNet、SPVCNN）も、CCSとNREライダー間のポイント密度の差異が主な要因で顕著な性能低下を示した。
• WaffleIronとS-Formerのみが、不規則なスキャンに適応可能な柔軟なポイントワイズ表現学習により、NREスキャンでmIoU 50%以上を達成した。
• 別のキャンパス（TUHH）でテストした際、すべてのモデルがNTUキャンパスでの性能と比較して相対的に70%以上の性能低下を示し、強いドメインシフトと環境間一般化能力の欠如が明らかになった。
• 本研究では、太陽放射干渉、ガラスの反射、非視線距離UWB効果といった現実世界の課題が、既存のベンチマークで十分に反映されていないことが明らかになった。