[논문 리뷰] FAIR1M: A Benchmark Dataset for Fine-grained Object Recognition in High-Resolution Remote Sensing Imagery

Xian Sun, Peijin Wang외 12명|arXiv (Cornell University)|2021. 03. 09.

Remote-Sensing Image Classification참고 문헌 52인용 수 10

한 줄 요약

이 논문은 100만 개 이상의 인스턴스와 15,000장의 고해상도 위성 영상으로 구성된 대규모 벤치마크 데이터셋 FAIR1M을 소개한다. 이는 정교한 물체 검출 및 인식을 위한 것으로, 방향성 경계 상자, 지리적 메타데이터, 고해상도 이미지 품질을 특징으로 하며, 5개의 주요 카테고리와 37개의 하위 카테고리로 구성되어 있어, 어려운 다양한 현실적인 위성 영상 환경에서 최신 기술 모델의 성능 향상을 가능하게 한다.

ABSTRACT

With the rapid development of deep learning, many deep learning-based approaches have made great achievements in object detection task. It is generally known that deep learning is a data-driven method. Data directly impact the performance of object detectors to some extent. Although existing datasets have included common objects in remote sensing images, they still have some limitations in terms of scale, categories, and images. Therefore, there is a strong requirement for establishing a large-scale benchmark on object detection in high-resolution remote sensing images. In this paper, we propose a novel benchmark dataset with more than 1 million instances and more than 15,000 images for Fine-grAined object recognItion in high-Resolution remote sensing imagery which is named as FAIR1M. All objects in the FAIR1M dataset are annotated with respect to 5 categories and 37 sub-categories by oriented bounding boxes. Compared with existing detection datasets dedicated to object detection, the FAIR1M dataset has 4 particular characteristics: (1) it is much larger than other existing object detection datasets both in terms of the quantity of instances and the quantity of images, (2) it provides more rich fine-grained category information for objects in remote sensing images, (3) it contains geographic information such as latitude, longitude and resolution, (4) it provides better image quality owing to a careful data cleaning procedure. To establish a baseline for fine-grained object recognition, we propose a novel evaluation method and benchmark fine-grained object detection tasks and a visual classification task using several State-Of-The-Art (SOTA) deep learning-based models on our FAIR1M dataset. Experimental results strongly indicate that the FAIR1M dataset is closer to practical application and it is considerably more challenging than existing datasets.

연구 동기 및 목표

• 고해상도 위성 영상 분석을 위한 대규모, 정교한, 지리적으로 풍부한 데이터셋의 부족을 해결하기 위해.
• 혼잡한 영상, 다양한 물체 크기 및 방향, 높은 내부 클래스 변동성을 포함한 실제 세계의 복잡성을 반영하는 벤치마크를 구축하기 위해.
• 표준화되고 고품질인 데이터셋을 제공함으로써 정교한 인식을 위한 딥러닝 모델의 개발 및 평가를 지원하기 위해.
• FAIR1M와 기존 데이터셋(예: DOTA) 간의 성능 비교를 통해 교차 데이터셋 일반화 연구를 가능하게 하기 위해.
• 종합적인 평가 프로토콜과 기준 모델을 제공함으로써 정교한 시각 분류 및 물체 검출 분야의 연구를 촉진하기 위해.

제안 방법

• 다양한 지리적 지역과 다수의 플랫폼에서 확보한 고해상도 위성 영상(0.3m–0.8m 해상도)을 수집하였다.
• 정교한 인식을 지원하기 위해 5개의 주요 카테고리와 37개의 하위 카테고리에 걸쳐 모든 물체를 방향성 경계 상자(OBBs)로 표기하였다.
• 공간적 맥락과 적용 관련성을 향상시키기 위해 위도, 경도, 해상도 등의 지리적 메타데이터를 데이터셋에 통합하였다.
• 높은 이미지 품질을 확보하고 노이즈를 감소시켜 모델의 일반화 능력을 향상시키기 위해 철저한 데이터 정제를 수행하였다.
• 최신 딥러닝 모델(예: ResNet-50, ResNet-101, MMAL-Net)을 사용하여 물체 검출 및 정교한 시각 분류 작업 모두에 대한 벤치마크를 구축하였다.
• ROI Transformer를 사용하여 DOTA와 FAIR1M 간의 교차 데이터셋 검증을 수행하여 모델의 일반화 능력과 데이터셋의 난이도를 평가하였다.

실험 결과

연구 질문

• RQ1 FAIR1M 데이터셋은 기존 위성 영상 데이터셋과 비교해 규모, 카테고리의 풍부함, 이미지 품질 측면에서 어떻게 다를까?
• RQ2 지리적 메타데이터와 고해상도 데이터의 포함이 정교한 물체 검출 모델의 성능 향상과 일반화 능력 향상에 어느 정도 기여하는가?
• RQ3 정교한 분류 및 검출 성능 측면에서 기존 벤치마크(예: DOTA)와 비교해 FAIR1M 데이터셋은 얼마나 도전적인가?
• RQ4 최신 기술 모델들이 FAIR1M에서 견고한 성능을 달성할 수 있는가, 아니면 현재 접근 방식의 한계를 드러내는가?
• RQ5 FAIR1M에서 훈련된 모델이 다른 데이터셋에서 테스트되었을 때의 일반화 능력은 어떠한가, 반대로 다른 데이터셋에서 훈련된 모델이 FAIR1M에서 테스트되었을 때의 성능은 어떠한가?

주요 결과

• FAIR1M는 15,000장의 영상에 걸쳐 100만 개 이상의 인스턴스를 포함하고 있어, 영상 수와 인스턴스 수 모두 기존의 위성 영상 검출 데이터셋보다 크게 규모가 크다.
• 37개의 하위 카테고리로 구성된 정교한 분류 체계와 방향성 경계 상자(OBBs)의 포함으로 인해 일반적인 물체 검출 데이터셋보다 인식 작업의 난이도가 높아졌다.
• 교차 데이터셋 평가 결과, DOTA에서 훈련된 ROI Transformer-D 모델이 FAIR1M에서 테스트되었을 때 mAP가 27.92% 감소하여, FAIR1M의 더 높은 복잡성과 난이도를 입증하였다.
• MMAL-Net은 FAIR-Airplane 하위셋에서 45.18%의 mAP를 기록하여 ResNet-50(41.23%)과 ResNet-101(43.46%)을 앞서며 정교한 분류에 효과적임을 입증하였다.
• 일부 하위 카테고리에서는 우수한 성능를 보였지만, 특히 유사한 하위 유형을 구분하는 데 어려움을 겪어 선박과 차량의 정교한 분류에서 어려움을 겪었으며, 이는 데이터셋의 난이도를 강조한다.
• 지리적 메타데이터와 고품질 이미지의 통합은 실제 응용 및 모델의 일반화 능력 향상 측면에서 데이터셋의 유용성을 크게 향상시켰다.