[논문 리뷰] GLSD: The Global Large-Scale Ship Database and Baseline Evaluations

Zhenfeng Shao, Jiaming Wang외 9명|arXiv (Cornell University)|2021. 06. 05.

Advanced Neural Network Applications참고 문헌 51인용 수 4

한 줄 요약

이 논문은 13개의 세부 선박 카테고리에 걸쳐 총 152,576장의 이미지와 212,357개의 인스턴스를 포함하는 대규모 글로벌 선박 데이터베이스인 GLSD를 소개한다. 이는 실제 해양 환경에서의 선박 검출 기술을 발전시키기 위해 설계되었다. 연구에서는 표준화된 평가 프로토콜을 제안하고 최신 기술 수준의 객체 검출기 모델들을 벤치마킹하여, 동기화 배치 정규화(SyncBN)와 다중 척도 훈련이 다양한 지리적 배경을 가진 어려운 선박 영상에서 성능 향상에 유의미한 기여를 한다는 것을 입증한다.

ABSTRACT

In this paper, we introduce a challenging global large-scale ship database (called GLSD), designed specifically for ship detection tasks. The designed GLSD database includes a total of 212,357 annotated instances from 152,576 images. Based on the collected images, we propose 13 ship categories that widely exist in international routes. These categories include Sailing boat, Fishing boat, Passenger ship, Warship, General cargo ship, Container ship, Bulk cargo carrier, Barge, Ore carrier, Speed boat, Canoe, Oil carrier, and Tug. The motivations of developing GLSD include the following: 1) providing a refine and extensive ship detection database that benefits the object detection community, 2) establishing a database with exhaustive labels (bounding boxes and ship class categories) in a uniform classification scheme, and 3) providing a large-scale ship database with geographic information (covering more than 3000 ports and 33 routes) that benefits multi-modal analysis. In addition, we discuss the evaluation protocols corresponding to image characteristics in GLSD and analyze the performance of selected state-of-the-art object detection algorithms on GSLD, aiming to establish baselines for future studies. More information regarding the designed GLSD can be found at https://github.com/jiaming-wang/GLSD.

연구 동기 및 목표

• 객체 검출 모델 훈련 및 평가를 위한 대규모, 세밀한 분류, 지리적 태그가 부여된 선박 데이터셋의 부족 문제를 해결하기 위해.
• 크기, 시점, 환경적 변동성 등의 고유한 과제를 감안해 선박 검출에 특화된 표준화된 평가 프로토콜을 수립하기 위해.
• 다양하고 세계적으로 대표적인 선박 데이터셋 기반으로 최신 기술 수준의 객체 검출 모델에 대한 기준 성능 평가를 제공하기 위해.
• 3,000개 이상의 항만과 33개의 국제 해상 운항 노선를 포함한 지리적 정보 통합을 통해 다중 모odal 분석을 지원하기 위해.
• 향후 데이터 확장에 대비해 '터그', '카누', '스피드 보트'와 같은 저항력이 낮은 선박 유형을 식별하여 장꼬리 분포 문제를 완화하기 위해.

제안 방법

• GLSD 데이터베이스는 위성 및 항공 영상 자료를 활용해 국제 해상 운항 노선와 항만을 커버하는 방식으로 수집된 이미지를 기반으로 하며, 경계 상자와 13개의 구체적인 선박 카테고리에 대한 철저한 태그 작업을 수행하였다.
• 모델의 내성 및 일반화 능력을 평가하기 위해 크기, 시점, 환경 조건 등의 영상 특성에 기반한 새로운 평가 프로토콜을 설계하였다.
• 표준화된 지표인 AP, AP50, AP75, AP_S/M/L을 사용하여 PAA를 포함한 최신 기술 수준의 객체 검출 모델을 GLSD에서 훈련 및 평가하였다. 이는 객체 크기에 따른 성능 측정을 가능하게 하였다.
• 다양한 크기의 선박 인스턴스를 정확하게 검출하기 위한 다중 척도 훈련과 정규화 전략(BN, GN, SyncBN)의 영향을 평가하기 위해 분석 실험(Ablation studies)를 수행하였다.
• 노선 기반 버전인 GLSD_port는 지리적 메타데이터를 통합하여 다중 모달 학습과 맥락 인식 기반 검출 작업을 가능하게 하였다.
• 연구의 재현 가능성을 높이고 공동 연구를 지원하기 위해 GitHub를 통해 데이터셋을 공개하였다.

실험 결과

연구 질문

• RQ1 최신 기술 수준의 객체 검출기 모델의 성능는 대규모, 세밀한 분류, 지리적 태그가 부여된 선박 검출 벤치마크에서 어떻게 변동되는가?
• RQ2 다중 척도 훈련과 정규화 전략이 다양한 환경 조건에서 소형 및 다양한 선박 인스턴스를 검출하는 데 미치는 영향은 무엇인가?
• RQ3 크기, 시점, 기상 조건 등의 다양한 영상 특성이 실제 해양 데이터에서 검출 성능에 악영향을 미치는 정도는 어느 정도인가?
• RQ4 항만과 해상 운항 노선를 포함한 지리적 맥락의 통합이 선박 검출 모델의 강건성과 정확도에 얼마나 기여하는가?
• RQ5 현재 모델의 주요 한계점은 무엇인가? 특히 저항력이 낮은 선박 카테고리에서의 장꼬리 분포 문제에 대해 설명하라.

주요 결과

• 동기화 배치 정규화(SyncBN)는 배치 정규화(BN) 대비 0.3% 향상된 평균 정밀도(AP)를 기록했으며, 그룹 정규화(GN) 대비 3.6% 향상되어 GLSD의 다양한 데이터 분포를 처리하는 데서 뛰어난 성능을 보였다.
• 이미지 크기를 1,333×640 및 1,333×800 픽셀로 설정한 다중 척도 훈련은 성능 향상에 미미한 영향을 미쳤다. 이는 GLSD의 극단적인 척도 변동성이 표준 다중 척도 증강 기법의 효과를 제한함을 시사한다.
• PAA 검출기의 GLSD에서의 평균 정밀도(AP)는 30.9%였으며, 소형 객체에 대해서는 특히 낮은 성능(AP_S = 3.9%)을 보여, 소형 선박 검출의 어려움을 확인할 수 있었다.
• BN을 사용했을 때 소형 객체의 평균 재현율(AR_S)은 34.3%였고, GN을 사용했을 때는 31.6%로 감소하여 정규화 전략이 소형 객체 검출 성능에 중대한 영향을 미친다는 점을 입증하였다.
• 대형 객체에 대한 평균 재현율(AR_L)은 72.5%를 기록하여 대형 선박은 비교적 안정적으로 검출되지만, 소형 및 중형 선박은 여전히 주요 과제로 남아 있음을 보여주었다.
• 데이터셋은 뚜렷한 장꼬리 분포를 보이며, '터그', '카누', '스피드 보트' 등의 카테고리에 대한 인스턴스 수가 매우 적다. 이는 실제 해양 감시에 있어 중요한 요소이지만, 향후 데이터 수집이 추가로 필요하다.