[논문 리뷰] WaterScenes: A Multi-Task 4D Radar-Camera Fusion Dataset and Benchmarks for Autonomous Driving on Water Surfaces

Shanliang Yao, Runwei Guan외 12명|arXiv (Cornell University)|2023. 07. 13.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 4D 레이더와 카메라 융합을 위한 다중 작업용 다중 모odal 4D 레이더-카메라 융합 데이터셋인 WaterScenes를 소개한다. 이 데이터셋은 무인 표면 항선(USV)을 이용해 수집되었으며, 자율주행을 위한 수면 환경에서의 응용을 목적으로 한다. 데이터셋은 물체 검출, 인스턴스/세분화, 자유공간, 수면선 세분화 등의 작업을 위한 픽셀 수준 및 포인트 수준의 공동 레이블링을 가능하게 하여, 레이더-카메라 융합이 특히 악천후 및 저조도 조건에서 인식 정확도와 강인성을 크게 향상시킴을 입증한다.

ABSTRACT

Autonomous driving on water surfaces plays an essential role in executing hazardous and time-consuming missions, such as maritime surveillance, survivors rescue, environmental monitoring, hydrography mapping and waste cleaning. This work presents WaterScenes, the first multi-task 4D radar-camera fusion dataset for autonomous driving on water surfaces. Equipped with a 4D radar and a monocular camera, our Unmanned Surface Vehicle (USV) proffers all-weather solutions for discerning object-related information, including color, shape, texture, range, velocity, azimuth, and elevation. Focusing on typical static and dynamic objects on water surfaces, we label the camera images and radar point clouds at pixel-level and point-level, respectively. In addition to basic perception tasks, such as object detection, instance segmentation and semantic segmentation, we also provide annotations for free-space segmentation and waterline segmentation. Leveraging the multi-task and multi-modal data, we conduct benchmark experiments on the uni-modality of radar and camera, as well as the fused modalities. Experimental results demonstrate that 4D radar-camera fusion can considerably improve the accuracy and robustness of perception on water surfaces, especially in adverse lighting and weather conditions. WaterScenes dataset is public on https://waterscenes.github.io.

연구 동기 및 목표

• 특히 무인 표면 항선(USV)을 위한 자율주행 수면 표면에서의 다중 모odal, 다중 작업 데이터셋의 부족을 보완한다.
• 우리가 일반적으로 사용하는 카메라 중심의 인식 방식이 악천후, 저조도, 반사 및 파도로 인한 동적 수면 조건에서 가지는 한계를 극복한다.
• 4D 레이더(기상에 강건하고, 장거리 탐지 및 속도 감지 기능을 지님)와 카메라(고해상도 질감 및 색상 정보 제공)의 상호보완적 특성을 활용한 레이더-카메라 융합을 위한 종합적인 벤치마크를 제공한다.
• 수면 표면에서의 물체 검출, 인스턴스 및 세분화, 자유공간 세분화, 수면선 세분화 등의 다중 작업 인식 작업을 가능하게 한다.
• 다양한 고해상도 레이블링이 포함된 공개 가능한 고품질 데이터셋을 통해, USV를 위한 강인하고 실시간 인식 시스템의 개발을 촉진한다.

제안 방법

• 4D 레이더와 단일 카메라를 탑재한 USV를 배치하여 다양한 수면 조건에서 동기화된 다중 모달 데이터를 수집한다.
• 물체 검출, 인스턴스 세분화, 세분화, 자유공간 세분화, 수면선 세분화 등의 다수의 인식 작업을 위한 데이터 수집 및 레이블링을 수행한다.
• 카메라 이미지에는 픽셀 수준의 레이블링을, 4D 레이더 포인트 클라우드에는 포인트 수준의 레이블링을 적용하여 정밀한 다중 모달 정렬을 가능하게 한다.
• 유모달(카메라 전용, 레이더 전용) 및 융합 모달(레이더-카메라)을 사용한 벤치마크 모델을 설계하고 평가하며, Achelous와 같은 최신 융합 아키텍처를 포함한다.
• 다중 작업 학습(MTL) 프레임워크를 활용하여 여러 인식 작업을 동시에 최적화함으로써 특징 공유 및 계산 효율성을 향상시킨다.
• 4D 레이더 데이터(거리, 속도, 방위각, 고도)를 카메라 특징과 융합하는 고급 융합 기법을 적용하여, 도전적인 조건에서도 검출 및 세분화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 유모달 접근 방식에 비해 4D 레이더-카메라 융합이 수면 표면에서 인식 정확도와 강인성을 크게 향상시키는가?
• RQ2 저조도, dense 안개, 비와 같은 악천후 조건에서 카메라 성능이 저하되는 상황에서, 다중 모달 융합은 얼마나 효과적인가?
• RQ3 반사 및 파도 운동으로 인해 시각적 단서가 모호한 상황에서, 레이더는 자유공간 및 수면선 세분화에 얼마나 기여하는가?
• RQ4 복잡한 수상 환경에서, 레이더와 카메라 데이터를 융합한 다중 작업 학습 목표(예: 동시 검출 및 세분화)는 어떤 이점을 제공하는가?
• RQ5 현재의 인식 모델로는 수면 표면에서 작은 크기 또는 접촉 면적이 작은 물체(예: 떠 있는 쓰레기)를 정확하게 검출하고 세분화하는 데 어떤 주요 과제가 존재하는가?

주요 결과

• 카메라 전용 기준선(HybridNets) 대비 레이더-카메라 융합으로 물체 검출 mAP가 15.7% 향상되어 뚜렷한 성능 향상을 입증한다.
• 융합 모델인 Achelous는 모든 작업에서 카메라 전용 및 레이더 전용 기준선을 초월하며, 특히 저조도 및 악천후 조건에서 뛰어난 성능을 보인다.
• 저조도 상황에서는 카메라 전용 세분화가 실패하거나 매우 정확도가 떨어지지만, 융합 모델은 안정적인 성능을 유지함으로써 레이더 보조의 강인성을 입증한다.
• 이 데이터셋은 정확한 패노프틱 인식을 가능하게 하며, 반사 및 경계가 모호한 요인들로 인해 수면선 및 자유공간 세분화에 도전적인 과제가 존재하지만, 이는 다중 모달 융합을 통해 완화된다.
• 모델 특화 최적화 없이도 레이더-카메라 융합이 카메라 전용 모델보다 검출 성능을 향상시킴으로써, 융합 접근 방식의 내재된 강인성을 시사한다.
• 데이터셋은 기존의 카메라 기반 모델이 거울 같은 반사 및 파도 유도 왜곡에 취약함을 드러내며, 이는 레이더 데이터 통합을 통해 효과적으로 해결됨을 보여준다.