[논문 리뷰] A Spacecraft Dataset for Detection, Segmentation and Parts Recognition

Dung Anh Hoang, Bo Chen외 1명|arXiv (Cornell University)|2021. 06. 15.

Advanced Neural Network Applications참고 문헌 38인용 수 6

한 줄 요약

이 논문은 위성 및 공간 정거장의 감지, 인스턴스 세그멘테이션, 부품 인식을 위한 첫 번째 공개 가능한 데이터셋을 소개한다. 총 3,117장의 이미지에 바운딩 박스, 인스턴스 마스크, 세분화된 부품 수준의 애너테이션을 포함한다. 저자들은 자동 레이블링과 반복적인 인간 보완을 조합한 부트스트랩 애너테이션 전략을 사용하며, 최신 기술 모델들을 벤치마킹하여 기존의 지구 기반 데이터셋으로 훈련된 모델이 공간 객체, 특히 안테나와 같은 복잡한 부품에 대해 상당히 떨어지는 성능을 보임을 보여준다.

ABSTRACT

Virtually all aspects of modern life depend on space technology. Thanks to the great advancement of computer vision in general and deep learning-based techniques in particular, over the decades, the world witnessed the growing use of deep learning in solving problems for space applications, such as self-driving robot, tracers, insect-like robot on cosmos and health monitoring of spacecraft. These are just some prominent examples that has advanced space industry with the help of deep learning. However, the success of deep learning models requires a lot of training data in order to have decent performance, while on the other hand, there are very limited amount of publicly available space datasets for the training of deep learning models. Currently, there is no public datasets for space-based object detection or instance segmentation, partly because manually annotating object segmentation masks is very time consuming as they require pixel-level labelling, not to mention the challenge of obtaining images from space. In this paper, we aim to fill this gap by releasing a dataset for spacecraft detection, instance segmentation and part recognition. The main contribution of this work is the development of the dataset using images of space stations and satellites, with rich annotations including bounding boxes of spacecrafts and masks to the level of object parts, which are obtained with a mixture of automatic processes and manual efforts. We also provide evaluations with state-of-the-art methods in object detection and instance segmentation as a benchmark for the dataset. The link for downloading the proposed dataset can be found on https://github.com/Yurushia1998/SatelliteDataset.

연구 동기 및 목표

• 우주항공 응용 분야의 딥러닝을 위한 공개 가능하고 고품질의 우주 기반 데이터셋이 부족한 문제를 해결하기 위해.
• 실제 및 합성 우주 영상 자료를 활용하여 우주선 감지, 인스턴스 세그멘테이션, 세분화된 부품 인식 연구를 가능하게 하기 위해.
• 자동화된 레이블링과 반복적인 인간 보완을 조합한 부트스트랩 전략을 통해 애너테이션 비용을 줄이기 위해.
• 우주 기반 시각적 과제에 특화된 최신 기술 모델 평가 기준을 설정하기 위해.

제안 방법

• 3,117장의 실물 및 합성 위성 및 공간 정거장 영상 자료를 다양한 출처에서 수집하여 데이터셋을 구성한다.
• 하이브리드 애너테이션 파이프라인을 사용한다: 상호작용 도구를 활용한 초기 수동 레이블링 → 모델 기반의 굵은 레이블링 → 이후 인간 보완.
• 이전에 애너테이션된 데이터를 활용해 새로운 이미지에 대한 모델 예측을 반복적으로 향상시키는 부트스트랩 전략을 통해 애너테이션 효율성을 극대화한다.
• 표준 훈련 프로토콜을 사용하여 최신 기술 딥러닝 모델(DeepLabV3+, OCRNet, HRNet, ResNeSt)을 데이터셋에 훈련하고 평가한다.
• 훈련을 위해 이미지를 1024×512로 리사이징하고, 검증을 위해 2048×1024로 리사이징하며, 표준 최적화 방법(SGD, 가중치 감소)과 성능 향상을 위한 보조 헤드를 사용한다.
• 모든 클래스와 부품 카테고리에 대해 mIoU를 평가하며, 배경 클래스 포함 및 제외한 별도의 지표를 사용한다.

실험 결과

연구 질문

• RQ1 최신 기술 세그멘테이션 모델의 성능은 Cityscapes 및 Pascal VOC와 같은 표준 지구 기반 데이터셋에서의 성능과 비교해 복잡한 우주 객체에서 어떻게 다를까?
• RQ2 자동화 및 반자동화된 애너테이션 기법은 공간 객체의 픽셀 수준 세그멘테이션 마스크 제작에 소요되는 비용과 시간을 얼마나 줄일 수 있을까?
• RQ3 복잡하고 다양한 형태를 띠는 부품, 예를 들어 안테나, 태양 전지판, 주체소 등 세그멘테이션에서의 주요 과제는 무엇인가?
• RQ4 지구 기반 데이터로 미리 훈련된 모델은 도메인 적응 또는 파인튜닝 없이도 우주 기반 시각 과제에 효과적으로 일반화될 수 있는가?
• RQ5 배경 픽셀의 포함 여부가 우주 영상에서 세그멘테이션 모델 평가에 어떤 영향을 미치며, 배경을 제외했을 때의 성능 격차는 어떠한가?

주요 결과

• 제안된 데이터셋에서 ResNeSt200 모델의 전체 우주선 세그멘테이션 작업에 대한 평균 교차율(mIoU)은 0.790을 기록했으며, 주체소는 0.767, 태양 전지판은 0.878, 안테나는 0.640에 머물렀다.
• 안테나의 mIoU는 0.585~0.650으로 주체소(0.834~0.842)와 태양 전지판(0.839~0.878)에 비해 상당히 낮아, 복잡하고 비정형적인 형태의 부품을 식별하는 데 높은 과제가 있음을 시사한다.
• Cityscapes와 Pascal VOC와 같은 지구 기반 데이터셋으로 훈련된 최신 기술 모델의 평균 mIoU 점수는 각각 0.859와 0.824를 기록했으며, 이는 제안된 우주선 데이터셋에서 가장 우수한 성능을 보인 모델보다 6%에서 11% 높은 수준이다.
• 지구 기반과 우주 기반 세그멘테이션 과제 간의 성능 격차는 상당히 크며, 신규 데이터셋에서 가장 우수한 모델의 평균 mIoU는 Pascal VOC에서의 모델 평균 mIoU의 74.9%에 불과하다.
• 정성적 결과는 모든 모델이 복잡한 구성에서 안테나 마스크를 정확히 예측하는 데 어려움을 겪는 것으로 나타나, 정량적 mIoU 결과를 확인하고 도메인 특화 모델 설계의 필요성을 강조한다.
• 부트스트랩 애너테이션 전략은 높은 애너테이션 품질을 유지하면서도 수동 작업을 크게 줄여주어, 제한된 인간 노동으로도 대규모이고 세밀한 애너테이션을 가진 데이터셋을 구축하는 데 성공했다.