[논문 리뷰] iSAID: A Large-scale Dataset for Instance Segmentation in Aerial Images

Syed Waqas Zamir, Aditya Arora외 8명|arXiv (Cornell University)|2019. 05. 30.

Advanced Neural Network Applications참고 문헌 33인용 수 161

한 줄 요약

iSAID는 15개 카테고리와 2,806장의 고해상도 이미지에 걸쳐 655,451개의 인스턴스를 포함하는 항공 영상의 인스턴스 분할을 위한 대규모로 밀집 주석된 데이터셋을 도입하며, 일반 메서드(Mask R-CNN, PANet)를 벤치마크하여 항공 특화 솔루션의 필요성을 드러낸다.

ABSTRACT

Existing Earth Vision datasets are either suitable for semantic segmentation or object detection. In this work, we introduce the first benchmark dataset for instance segmentation in aerial imagery that combines instance-level object detection and pixel-level segmentation tasks. In comparison to instance segmentation in natural scenes, aerial images present unique challenges e.g., a huge number of instances per image, large object-scale variations and abundant tiny objects. Our large-scale and densely annotated Instance Segmentation in Aerial Images Dataset (iSAID) comes with 655,451 object instances for 15 categories across 2,806 high-resolution images. Such precise per-pixel annotations for each instance ensure accurate localization that is essential for detailed scene analysis. Compared to existing small-scale aerial image based instance segmentation datasets, iSAID contains 15$ imes$ the number of object categories and 5$ imes$ the number of instances. We benchmark our dataset using two popular instance segmentation approaches for natural images, namely Mask R-CNN and PANet. In our experiments we show that direct application of off-the-shelf Mask R-CNN and PANet on aerial images provide suboptimal instance segmentation results, thus requiring specialized solutions from the research community. The dataset is publicly available at: https://captain-whu.github.io/iSAID/index.html

연구 동기 및 목표

• 항공 이미지용 대규모의 밀집 주석 인스턴스 분할 데이터셋 구축을 촉진한다.
• 고밀도 항공 현장에서 정확한 위치 추정이 가능하도록 픽셀 단위의 정밀한 인스턴스 마스크를 제공한다.
• 자연 장면 인스턴스 분할 모델을 항공 이미지에 적용할 때의 한계를 강조한다.
• 참조를 확립하고 항공 맞춤형 접근법 개발을 촉진하기 위해 베이스라인 방법을 벤치마크한다.

제안 방법

• 전용 주석 파이프라인을 사용하여 2,806장의 고해상도 항공 이미지를 15개 카테고리의 655,451인스턴스 마스크로 큐레이션하고 주석화한다.
• 각 인스턴스의 픽셀 수준 마스크를 보장하기 위해 엄격한 주석 지침, 다단계 품질 관리 워크플로우, 전문 주석가를 확립한다.
• iSAID에서 기본 인스턴스 분할 및 객체 검출 방법(Mask R-CNN 및 PANet)을 평가하고, 간단한 아키텍처/백본 개선 및 스케일 보강을 포함한다.
• 필요에 따라 잘린 패치를 재주석하고 스트라이드 200의 800x800 패치를 사용하여 고해상도 항공 이미지에 대한 평가를 조정한다.
• 항공 데이터에서의 성능 격차를 밝히기 위해 인스턴스 분할과 바운딩 박스 검출의 벤치마크 결과를 제공한다.

실험 결과

연구 질문

• RQ1 강건한 모델을 학습시키려면 항공 인스턴스 분할 데이터셋이 얼마나 크고 다양해야 하는가?
• RQ2 최신 자연 이미지 방법과 항공 이미지 데이터의 인스턴스 분할 성능 차이는 얼마나 되는가?
• RQ3 밀집하고 고해상도인 항공 영상에서 일반적인 아키텍처(Mask R-CNN, PANet)은 어떤 성능을 보이며, 간단한 항공 특화 조정으로 격차를 줄일 수 있는가?
• RQ4 항공 이미지에서 인스턴스 분할에 영향을 미치는 규모, 밀도, 방향, 종횡비 등의 도전과제는 무엇인가?

주요 결과

• iSAID는 2,806장의 이미지와 15개 카테고리에 걸쳐 655,451개의 주석 인스턴스를 포함하여 고밀도 항공 현장 분석을 가능하게 한다.
• 기성의 자연 이미지 방법(Mask R-CNN, PANet)은 iSAID에서 최적이 아닌 결과를 보이며 항공 맞춤 솔루션의 필요성을 시사한다.
• iSAID에서 PANet 변형이 Mask R-CNN 변형보다 우수하며, PANet++(ResNet-152-FPN 백본)가 인스턴스 분할과 바운딩 박스 검출에서 가장 높은 성능을 달성한다.
• 기본값에 대한 간단한 수정(스케일 보강, 더 많은 박스 수, NMS 조정)이 의미 있는 개선을 제공하며 도메인 특성에 맞춘 조정의 잠재적 이득을 보여준다.
• 일부 카테고리(예: 야구 다이아몬드, 농구 코트, 항구)에서 PANet++와 함께 분류별 결과의 주목할 만한 개선이 나타난다.
• DOTA와 비교할 때 iSAID는 더 많은 인스턴스와 카테고리를 도입하여 항공 인스턴스 분할에 있어 더 도전적인 벤치마크를 제시한다.