[논문 리뷰] MCD: Diverse Large-Scale Multi-Campus Dataset for Robot Perception

Thien‐Minh Nguyen, Shenghai Yuan외 9명|arXiv (Cornell University)|2024. 03. 18.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 다양한 감지 모odal리티—저비용 NRE 라이다, 카메라, 인ertial 측정 장치(IMU), UWB를 포함—를 갖춘 대규모 다중 캠퍼스 데이터셋 MCD를 소개한다. 이 데이터셋은 59,000개의 NRE 스캔에 대해 29개 클래스의 포인트별 의미적 애너테이션을 포함한다. 연구는 조사 기반 지도에 기반한 최적화 기반 라이다-인ertial 정렬을 통해 연속 시간 기반 참값을 제안하며, 이는 SOTA 3D 의미 분할 모델이 NRE 라이다에 적용되었을 때 mIoU가 25% 이상 감소하는 등 심각한 성능 저하를 드러내어 일반화 및 내구성에 있어 핵심 과제를 강조한다.

ABSTRACT

Perception plays a crucial role in various robot applications. However, existing well-annotated datasets are biased towards autonomous driving scenarios, while unlabelled SLAM datasets are quickly over-fitted, and often lack environment and domain variations. To expand the frontier of these fields, we introduce a comprehensive dataset named MCD (Multi-Campus Dataset), featuring a wide range of sensing modalities, high-accuracy ground truth, and diverse challenging environments across three Eurasian university campuses. MCD comprises both CCS (Classical Cylindrical Spinning) and NRE (Non-Repetitive Epicyclic) lidars, high-quality IMUs (Inertial Measurement Units), cameras, and UWB (Ultra-WideBand) sensors. Furthermore, in a pioneering effort, we introduce semantic annotations of 29 classes over 59k sparse NRE lidar scans across three domains, thus providing a novel challenge to existing semantic segmentation research upon this largely unexplored lidar modality. Finally, we propose, for the first time to the best of our knowledge, continuous-time ground truth based on optimization-based registration of lidar-inertial data on large survey-grade prior maps, which are also publicly released, each several times the size of existing ones. We conduct a rigorous evaluation of numerous state-of-the-art algorithms on MCD, report their performance, and highlight the challenges awaiting solutions from the research community.

연구 동기 및 목표

• 자율주행 시나리오를 초월한 다양한 감지 모달리티, 대규모, 정확한 애너테이션을 갖춘 데이터셋의 부족을 해결하기 위해.
• 점군의 흩어짐과 비정규적인 스캔으로 인해 의미 분할에서 다루어지지 않은 저비용 비반복성 원형(NRE) 라이다 모달리티에 대한 연구를 가능하게 하기 위해.
• 조사 기반 정확도 지도에 기반한 라이다-인ert셜 데이터 최적화를 통해 고정밀 연속 시간 기반 참값을 제공함으로써 SLAM 및 정위치 기술의 정확도를 향상시키기 위해.
• 일광 간섭, 유리 반사, 비선형 시야 UWB 영향 등의 과제를 드러내어 내구성 있는 인식 알고리즘 개발을 촉진하기 위해.
• 세 개의 지리적·환경적으로 다양한 대학 캠퍼스에서 데이터를 수집함으로써 도메인 일반화 연구를 지원하기 위해.

제안 방법

• 데이터셋은 아시아, 유럽, 독일의 세 개 대학 캠퍼스에서 수집되었으며, 다양한 환경 조건과 건축 양식을 포함한다.
• 다양한 센서를 통합: 전통적인 회전식 라이다(정밀 측정 라이다, CCS), MEMS 기반 NRE 라이다, 고주파수 IMU, 다중 기준거리 RGB 카메라, UWB 앵커.
• 29개의 객체 클래스에 대해 59,000개의 NRE 라이다 스캔에 대해 수작업으로 의미 애너테이션을 생성하였으며, 이는 이 모달리티에 대한 첫 대규모 의미 분할 데이터셋이다.
• 사전 구축된 고정밀 조사 기반 지도에 기반해 비선형 최적화 프레임워크를 사용해 라이다-인ert셜 궤적을 최적화함으로써 연속 시간 기반 참값을 생성하였다.
• 참값은 임의의 시간 및 밀도 샘플링을 지원하여 AR/VR 및 실시간 로봇 응용 분야에 고해상도 평가를 가능하게 한다.
• 운동 왜곡이 발생한 라이다 데이터와 운동 보정된 라이다 데이터가 모두 포함되어 있어, 운동 블러가 인식 모델 성능에 미치는 영향을 연구할 수 있다.

실험 결과

연구 질문

• RQ1 기존의 원통형 라이다로 훈련된 최신 3D 의미 분할 모델들이 NRE 라이다의 더 흐릿하고 비정규적인 점군에 일반화 가능한가?
• RQ2 다른 캠퍼스 간의 도메인 이동이 기존 SLAM 및 인식 알고리즘 성능에 어떤 영향을 미치는가?
• RQ3 원시 NRE 라이다 스캔에서 발생하는 운동 왜곡이 인식 시스템 성능을 얼마나 떨어뜨리며, 이를 어떻게 완화할 수 있는가?
• RQ4 연속 시간 기반 참값이 대규모 환경에서 SLAM 및 정위치의 정확도와 신뢰성 향상에 기여하는가?
• RQ5 일광 간섭, 유리 반사, 극단적인 조명 조건 등의 환경 과제가 인식 시스템의 내구성에 어떤 영향을 미치는가?

주요 결과

• 모든 SOTA 3D 의미 분할 모델이 SemanticKITTI에서 훈련된 결과와 비교해 NRE 라이다 스캔에서 상대적 mIoU가 25% 이상 감소하여 이 모달리티에 대한 일반화 능력 부족을 확인하였다.
• 원통형 또는 투영 기반 표현 방식을 사용하는 방법들(SalsaNext, Cylinder3D)은 NRE 점군 패턴과의 부적합성으로 인해 가장 심각한 성능 저하를 겪었다.
• 바벨 기반 모델들(MKNet, SPVCNN) 역시 CCS와 NRE 라이다 간의 점 군 밀도 차이로 인해 심각한 성능 저하를 보였다.
• WaffleIron과 S-Former만이 NRE 스캔에서 mIoU 50% 이상을 달성했으며, 이는 비정규적인 스캔 패턴에 적응 가능한 탄력적인 포인트 기반 표현 학습 방식 덕분이었다.
• 다른 캠퍼스(TUHH)에서 테스트한 결과, 모든 모델이 NTU 캠퍼스에서의 성능 대비 상대적 성능 저하가 70% 이상 발생하여 강력한 도메인 이동과 환경 간 일반화 능력 부족을 확인하였다.
• 기존 벤치마크에서 다루어지지 않은 실제 환경 과제인 일광 간섭, 유리 반사, 비선형 시야 UWB 영향 등이 현재 인식 모델의 능력에 심각한 격차를 드러내었다.