[논문 리뷰] 1st Workshop on Maritime Computer Vision (MaCVi) 2023: Challenge Results

Benjamin Kiefer, Matej Kristan외 71명|arXiv (Cornell University)|2022. 11. 24.

Maritime Navigation and Safety인용 수 12

한 줄 요약

이 논문은 2023년 제1회 해양 컴퓨터 비전 워크숍(MaCVi 2023)의 결과를 제시하며, UAV 및 USV를 활용한 물체 검출, 추적, 장애물 세그먼테이션/검출을 평가하기 위해 SeaDronesSee 및 MODS 벤치마크를 사용한다. SeaDronesSee Object Detection v2는 확장된 클래스와 영상 자료를 포함하여 도입되었으며, 130건 이상의 제출 사례를 보고하고 최고 성능을 낸 방법의 추세를 분석한다. 데이터셋, 코드, 랭킹표는 재현성과 벤치마크를 위해 공개되어 있다.

ABSTRACT

The 1$^{ ext{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.

연구 동기 및 목표

• UAV 및 USV를 활용한 해양 응용 분야의 컴퓨터 비전 기법을 평가하고 발전시키기 위해.
• 물결 반사, 변동하는 조도, 작은 물체 크기 등 악조건에서의 해양 물체 검출 및 추적 과제를 해결하기 위해.
• 더 많은 클래스와 다양한 영상 자료를 포함한 향상된 벤치마크인 SeaDronesSee Object Detection v2를 도입하여 향후 연구를 지원하기 위해.
• UAV 기반 검출 및 추적, USV 기반 장애물 세그먼테이션 및 검출의 네 가지 하위 과제에서 130건 이상의 제출 사례에 대한 추세와 성능을 분석하기 위해.
• 재현성과 벤치마크를 촉진하기 위해 공개된 데이터셋, 평가 코드, 랭킹표를 제공하기 위해.

제안 방법

• 대회는 UAV 및 USV 플랫폼에서의 물체 검출, 추적, 장애물 세그먼테이션 평가를 위해 SeaDronesSee 및 MODS 벤치마크를 사용하였다.
• UAV 기반 검출의 경우, 다중 해상도 입력(1920x1080에서 2688x1512)과 랜덤 감마, 밝기 대비, RGB 이동 등의 데이터 증강 기법을 사용하여 모델을 훈련 및 테스트하였다.
• MMDetection 프레임워크를 활용한 YOLOv7 기반 검출기 사용, 2개의 Tesla V100 GPU를 활용하여 약 5 FPS의 추론 속도를 달성하였다.
• USV 장애물 검출의 경우, 해안 마스크에 대한 사전 지식을 통합하여 임의 경고를 감소시키기 위해 사전 지식 기반 병렬 잔차 이중 융합 특징 피라미드 네트워크(PPRB-FPN)를 제안하였다.
• PPRB-FPN 모델은 백본으로 YOLOv7를 사용하였으며, 데이터 증강(_mixout_, _CutMix_, 색상 왜곡, 랜덤 회전)을 적용하고 단일 V100에서 배치 크기 64로 훈련하였다.
• OceanU에서는 E-ELAN 적응을 적용한 수정된 YOLOv7를 사용하여 MODS에서 클래스 재할당(사람, 선박, 기타)을 수행하고 수면 영역 검출에 최적화하였다.

실험 결과

연구 질문

• RQ1 물결 반사 및 변동하는 조도 등 도전적인 조건에서 작은 해양 물체를 검출하는 데 있어 현재의 컴퓨터 비전 모델의 성능 추세와 한계는 무엇인가?
• RQ2 해안 영역에 대한 사전 지식을 활용한 사전 지식 기반 방법(예: 해안 마스크 필터링)은 복잡한 해양 환경에서 USV 장애물 검출의 임의 경고를 얼마나 효과적으로 감소시키는가?
• RQ3 더 많은 물체 클래스와 다양한 영상 자료로 벤치마크를 확장할 경우, 모델의 일반화 능력과 평가의 강인성은 어느 정도 향상되는가?
• RQ4 다양한 데이터 증강 및 훈련 전략은 해양 물체 검출 과제에서 추론 속도와 정확도에 어떤 영향을 미치는가?
• RQ5 UAV 및 USV 해양 비전 과제에서 최고 성능을 내는 데 기여하는 주요 아키텍처 및 최적화 선택은 무엇인가?

주요 결과

• SeaDronesSee Object Detection v2 벤치마크가 도입되었으며, 원래 데이터셋에 추가적인 물체 클래스와 새로운 영상 자료를 추가하여 더 넓고 현실적인 평가를 지원한다.
• 130건 이상의 제출 사례를 분석한 결과, 다중 해상도 추론과 고급 데이터 증강 기법을 사용한 모델이 모든 하위 과제에서 높은 mAP 점수를 기록하였다.
• PPRB-FPN 방법은 해안 영역에 대한 사전 지식을 활용하여 임의 경고를 억제함으로써 USV 장애물 검출에서 뛰어난 성능을 보였으며, 검출 신뢰도를 향상시켰다.
• YOLOv7 기반 모델은 V100 GPU에서 약 5 FPS의 추론 속도를 기록하여 임베디드 플랫폼에 실시간 배포에 적합함을 입증하였다.
• MS-COCO에서 사전 훈련된 가중치 사용과 클래스 재할당(예: 사람/선박 외의 모든 물체를 '기타'로 통합)이 희귀 해양 클래스에서의 훈련 안정성과 검출 정확도를 크게 향상시켰다.
• 랭킹표와 함께 공개된 데이터셋, 코드, 평가 도구는 재현성을 보장하며 향후 해양 컴퓨터 비전 분야의 연구 기반을 마련한다.