[논문 리뷰] FGSD: A Dataset for Fine-Grained Ship Detection in High Resolution Satellite Images

Kaiyan Chen, Ming Wu외 2명|arXiv (Cornell University)|2020. 03. 15.

Remote-Sensing Image Classification참고 문헌 9인용 수 22

한 줄 요약

이 논문은 17개의 글로벌 항만에서 확보한 4,736장의 고해상도 위성 이미지로 구성된 대규모이고 세분화된 선박 검출 데이터셋인 FGSD를 소개한다. 이 데이터셋은 43개의 선박 클래스와 새로운 '부두' 클래스를 포함하여 수평 및 기울인 바운딩 박스로 레이블링되어 있다. 본 논문은 선박의 방향을 나타내는 새로운 직관적인 방식의 방향성 벡터를 제안하고, 상세한 메타데이터를 제공함으로써 고해상도 위성 이미지에 대한 세분화된 선박 검출의 새로운 기준을 설정한다. 기준 모델들은 mAP 0.65(R2CNN)와 0.70(Faster R-CNN)을 달성한다.

ABSTRACT

Ship detection using high-resolution remote sensing images is an important task, which contribute to sea surface regulation. The complex background and special visual angle make ship detection relies in high quality datasets to a certain extent. However, there is few works on giving both precise classification and accurate location of ships in existing ship detection datasets. To further promote the research of ship detection, we introduced a new fine-grained ship detection datasets, which is named as FGSD. The dataset collects high-resolution remote sensing images that containing ship samples from multiple large ports around the world. Ship samples were fine categorized and annotated with both horizontal and rotating bounding boxes. To further detailed the information of the dataset, we put forward a new representation method of ships' orientation. For future research, the dock as a new class was annotated in the dataset. Besides, rich information of images were provided in FGSD, including the source port, resolution and corresponding GoogleEarth' s resolution level of each image. As far as we know, FGSD is the most comprehensive ship detection dataset currently and it'll be available soon. Some baselines for FGSD are also provided in this paper.

연구 동기 및 목표

• 고해상도 원격 감지에서 종합적이고 세분화된 선박 검출 데이터셋의 부족을 해결하기 위해 새로운 대규모 벤치마크를 구축하기 위해.
• 기울인 바운딩 박스를 사용하여 세분화된 분류와 정확한 국소화를 가능하게 함으로써 선박 검출 성능을 향상시키기 위해.
• 검출의 강건성과 일반화 능력을 향상시키기 위해 선박의 방향성을 더 직관적으로 표현하는 새로운 방법을 제안하기 위해.
• 재현 가능성을 높이고 데이터셋 분석을 지원하기 위해 소스 항만, 해상도, Google Earth 해상도 수준 등의 풍부한 메타데이터를 제공하기 위해.
• 최신 기술 기반 모델(R2CNN 및 Faster R-CNN)을 사용하여 미래의 방법 평가 및 발전을 위한 강력한 기준 성능을 설정하기 위해.

제안 방법

• Google Earth를 사용해 17개의 주요 글로벌 항만에서 고해상도 위성 이미지 4,736장을 확보하였으며, 여러 해상도 수준(0.12m ~ 1.93m)에서 확보되었고, 이미지 크기를 표준화하여 930×930로 설정하였다.
• 43개의 세분화된 선박 카테고리와 1,366개의 부두 인스턴스를 포함하여 총 5,634개의 선박 인스턴스를 수평 및 기울인 바운딩 박스로 레이블링 하였다.
• 기울인 바운딩 박스(x_c, y_c, w, h, θ)에서 유도된 선박 중심에서 선미 방향을 향한 방향성 벡터(d₁, d₂) ∈ {−1, 0, 1}²를 사용한 새로운 방향 표현 방식을 제안하였다.
• 선박이라는 Level-1 레이블 아래에서 전투함, 항공모함, 잠수함, 민간선박 등 4개의 Level-2 카테고리로 구성된 다중 수준 레이블링 체계를 구현하였다.
• 레이블 파일에 소스 항만 ID, 이미지 해상도, 해당 Google Earth 해상도 수준 등의 상세한 이미지 메타데이터를 제공하였다.
• 기준 모델 평가로 R2CNN(기울인 검출용)과 Faster R-CNN(수평 검출용)을 사용하였으며, ResNet-101을 백본으로 사용하고 mAP를 평가 지표로 사용하였다.

실험 결과

연구 질문

• RQ1 고도화된 원격 감지 응용을 지원하기 위해 종합적이고 세분화된 선박 검출 데이터셋을 어떻게 구성할 수 있는가?
• RQ2 다중 수준 레이블링과 기울인 바운딩 박스 레이블링은 고해상도 위성 영상에서 선박 검출 성능에 어떤 영향을 미치는가?
• RQ3 새로운 직관적인 방향 표현 방식이 선박 검출 모델의 정확성과 강건성 향상에 기여할 수 있는가?
• RQ4 기존의 벤치마크인 HRSC2016에 비해 제안된 FGSD 데이터셋은 규모, 다양성, 레이블의 풍부함 측면에서 어떻게 비교되는가?
• RQ5 최신 기술 기반의 객체 검출 프레임워크를 사용하여 FGSD 데이터셋에서 강력한 기준 성능는 얼마인가?

주요 결과

• FGSD는 현재까지 가장 크고 종합적인 세분화된 선박 검출 데이터셋으로, 4,736장의 이미지, 43개의 클래스에 걸쳐 5,634개의 선박 인스턴스, 1,366개의 부두 인스턴스를 포함하고 있다.
• 각 이미지에 대해 소스 항만 ID, 이미지 해상도, Google Earth 해상도 수준 등의 풍부한 메타데이터를 포함하여 재현 가능성과 분석 능력을 향상시켰다.
• 기존 방법에 비해 더 직관적이고 간결한 방식으로 선박의 방향성을 표현하는 데에 방향성 벡터(d₁, d₂)를 사용한 제안된 방향 표현 방식이 유리하다.
• 기준 모델 평가 결과, R2CNN는 기울인 바운딩 박스 검출에서 평균 정밀도(mAP) 0.65를 달성하였고, Faster R-CNN는 수평 바운딩 박스 검출에서 mAP 0.70을 달성하였다.
• 카테고리 수(43 vs. 22)와 샘플 다양성 측면에서 HRSC2016를 크게 초월하였으며, 개선된 클래스 분포와 다중 수준 레이블링을 통해 세분화된 분석이 가능해졌다.
• '부두' 클래스의 포함으로 향후 해양 환경에서의 다중 객체 검출 및 장면 이해 연구에 기여할 수 있다.