[논문 리뷰] MODS -- A USV-oriented object detection and obstacle segmentation benchmark

Borja Bovcon, Jon Muhovič외 4명|arXiv (Cornell University)|2021. 05. 05.

Maritime Navigation and Safety참고 문헌 77인용 수 92

한 줄 요약

이 논문은 무인 수면선박(USV) 인식을 위한 새로운 벤치마크인 MODS를 소개한다. 이는 해상 물체 검출과 장애물 세그멘테이션 작업을 통합한다. 80,828장의 이미지로 구성된 대규모, IMU 동기화 스테레오 데이터셋을 제공하며, 이는 60,000개 이상의 주석 처리된 장애물을 포함한다. 또한 실세계 USV 항법에 의미 있는 방식으로 검출 정확도를 측정하는 새로운 평가 프로토콜을 제안한다. 이 벤치마크는 19종의 최신 기법을 평가하여 일반 목적 모델이 소형 물체에서 성능이 열 劣하고, 해상 전용 아키텍처인 WaSR과 같은 모델이 더 낮은 가짜 양성률 제어 성능을 보임을 확인한다.

ABSTRACT

Small-sized unmanned surface vehicles (USV) are coastal water devices with a broad range of applications such as environmental control and surveillance. A crucial capability for autonomous operation is obstacle detection for timely reaction and collision avoidance, which has been recently explored in the context of camera-based visual scene interpretation. Owing to curated datasets, substantial advances in scene interpretation have been made in a related field of unmanned ground vehicles. However, the current maritime datasets do not adequately capture the complexity of real-world USV scenes and the evaluation protocols are not standardised, which makes cross-paper comparison of different methods difficult and hinders the progress. To address these issues, we introduce a new obstacle detection benchmark MODS, which considers two major perception tasks: maritime object detection and the more general maritime obstacle segmentation. We present a new diverse maritime evaluation dataset containing approximately 81k stereo images synchronized with an on-board IMU, with over 60k objects annotated. We propose a new obstacle segmentation performance evaluation protocol that reflects the detection accuracy in a way meaningful for practical USV navigation. Nineteen recent state-of-the-art object detection and obstacle segmentation methods are evaluated using the proposed protocol, creating a benchmark to facilitate development of the field. The proposed dataset, as well as evaluation routines, are made publicly available at vicos.si/resources.

연구 동기 및 목표

• USV 인식을 위한 표준화되고 대규모이며 다양한 데이터셋의 부족 문제를 해결하기 위해, 특히 장애물 검출 및 세그멘테이션 측면에서.
• 기존 해상 데이터셋이 실제 복잡성을 반영하지 못하고 일관된 평가 프로토콜가 부족한 점을 보완하기 위해.
• 표준화된 평가 지표를 갖춘 통합 벤치마크를 도입함으로써 USV 인식 기법 간 객관적이고 종횡 비교를 가능하게 하기 위해.
• 특히 소형 및 먼 거리의 장애물에 대해 실제 USV 시나리오에 적용했을 때 현재 최고 수준의 모델들이 보이는 성능 격차를 규명하기 위해.
• 공개된 데이터, 학습 세트, 평가 코드를 제공함으로써 자율 USV 항법 분야의 진전을 가속화하기 위해.

제안 방법

• 저자들은 다양한 기상 조건에서 운항하는 USV에서 촬영한 80,828장의 동기화된 스테레오 RGB 이미지로 구성된 새로운 데이터셋을 수집하였으며, 정밀한 동기화를 위해 IMU 타임스탬프를 적용하였다.
• 이 데이터셋에는 세부적인 주석이 포함되어 있다: 동적 장애물(예: 수영자, 부표, 보트)에 대한 바운딩 박스와 정적 장애물(예: 해안선, 펜스) 및 항해 가능한 영역에 대한 픽셀 수준의 세그멘테이션 마스크.
• USV 항법에 의미 있는 방식으로 검출 정확도를 측정하기 위해 새로운 장애물 세그멘테이션 평가 프로토콜을 설계하였다. 이는 가짜 양성률 제어와 가장자리 검출 정밀도에 중점을 둔다.
• 프로토콜은 USV 근처의 위험 구역 내에서 진짜 양성률(RTP), 가짜 양성률(RFP), 검출 비율(∇T, ∇F)과 같은 핵심 지표를 계산한다.
• 물체 검출 및 세그멘테이션 작업 모두를 위한 정제된 학습 세트가 포함되어 있어 일관된 모델 학습 및 평가가 가능하다.
• 평가 코드는 파이썬으로 구현되었으며, Mask R-CNN, FCOS, WaSR 및 BiSeNet과 같은 19종의 최신 모델에 적용되었다.

실험 결과

연구 질문

• RQ1 다양한 환경 조건을 가진 대규모 실세계 USV 데이터셋에서 최신 기술의 물체 검출 및 세그멘테이션 모델 성능은 어떠한가?
• RQ2 일반 목적 모델(COCO 훈련 기반)이 해상 장애물 검출에 적용되었을 때, 특히 소형 또는 먼 거리의 물체에 대해 나타나는 주요 실패 원인은 무엇인가?
• RQ3 USV 특화 훈련에서 기하학적 증강이 색상 전이 대비 세그멘테이션 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 평가 프로토콜은 mAP와 같은 표준 지표가 포착하지 못한 성능 차이를 어떻게 드러내는가?
• RQ5 세그멘테이션 기반 장애물 검출 방법은 실세계 USV 운영 제약 조건 하에서 실시간 성능과 견고한 가장자리 검출을 달성할 수 있는가?

주요 결과

• 일반 목적 물체 검출기는 COCO 대비 MODS에서 F1 스코어가 약 6배 낮게 나타나, 도메인 특화 과제의 심각성을 시사한다.
• 모든 방법이 소형 및 매우 소형 물체에 대해 낮은 재현율을 보이며, 특히 수영자와 부표에 대해 가장 높은 누락률을 보였다. 이는 전반적인 정밀도는 양호한 편임에도 불구하고.
• Mask R-CNN은 인식 성능까지 고려할 때 가장 뛰어난 종합 검출 성능를 기록했고, FCOS는 USV 근처에서 검출 전용 작업에서 가장 뛰어난 성능를 보였으며, 고성능 GPU에서 약 14 FPS를 기록했다.
• 해상 전용 방법인 WaSR은 장애물 세그멘테이션에서 가장 높은 F1 스코어를 기록했으며, 주로 위험 구역에서 매우 낮은 가짜 양성률(0.5%)과 높은 진짜 양성률(대형 물체에 대해 98.8%) 덕분이었다.
• 상위 모델의 가짜 양성은 종종 매우 작은 물체에서 발생하므로, 소형 및 먼 거리의 장애물 검출 향상이 핵심 성능 저하 요인임을 시사한다.
• RefineNet 및 BiSeNet과 같은 세그멘테이션 모델은 수면-장애물 경계를 매우 견고하게 검출(>97% 정확도), 그러나 가끔 경계를 초과하여 충돌 위험을 증가시킨다.