[논문 리뷰] Building-Level Comparison of Microsoft and Google Open Building Footprints Datasets (Short Paper)

Wojciech Sirko, Sergii Kashubin외 8명|arXiv (Cornell University)|2021. 07. 26.

Remote-Sensing Image Classification참고 문헌 17인용 수 218

한 줄 요약

이 논문은 50cm 위성 영상과 함께 아프리카 전역에 걸쳐 건물 외곽선을 감지하기 위한 확장 가능한, U-Net 기반의 딥러닝 파이프라인을 제시한다. 믹스업 데이터 증강, 소프트 KL 손실을 사용한 자기학습, 최적화된 후처리를 통합함으로써, 최신 기술 수준의 성능을 달성하여 총 5억 1,600만 개의 외곽선을 포함한 오픈 빌딩스 데이터셋을 생성하였다.

ABSTRACT

Identifying the locations and footprints of buildings is vital for many practical and scientific purposes. Such information can be particularly useful in developing regions where alternative data sources may be scarce. In this work, we describe a model training pipeline for detecting buildings across the entire continent of Africa, using 50 cm satellite imagery. Starting with the U-Net model, widely used in satellite image analysis, we study variations in architecture, loss functions, regularization, pre-training, self-training and post-processing that increase instance segmentation performance. Experiments were carried out using a dataset of 100k satellite images across Africa containing 1.75M manually labelled building instances, and further datasets for pre-training and self-training. We report novel methods for improving performance of building detection with this type of model, including the use of mixup (mAP +0.12) and self-training with soft KL loss (mAP +0.06). The resulting pipeline obtains good results even on a wide variety of challenging rural and urban contexts, and was used to create the Open Buildings dataset of 516M Africa-wide detected footprints.

연구 동기 및 목표

• 지표면 데이터가 제한된 개발도상 지역에서 대규모 건물 감지를 해결한다.
• 다양한 아프리카 도시, 농촌 및 사막 지역 환경에서의 인스턴스 세그멘테이션 성능을 향상시킨다.
• 딥러닝을 활용한 대륙 규모 지ap핑을 위한 일반화 가능하고 확장 가능한 파이프라인을 개발한다.
• 과학적 및 인도적 목적을 위해 고정확도의 오픈 액세스 건물 외곽선 데이터셋을 생성한다.

제안 방법

• 아프리카 전역에서 수작업으로 레이블링된 175만 개의 건물이 포함된 10만 장의 위성 영상에서 U-Net 모델을 훈련시켰다.
• mAP 향상을 위해 믹스업 데이터 증강 기법을 적용하여 +0.12 향상시켰다.
• 소프트 KL 손실을 사용한 자기학습을 통해 mAP를 +0.06 향상시켰다.
• 경계 감지 성능 향상을 위해 가우시안 컨볼루션을 사용한 거리 가중 손실을 적용하였다.
• 예측을 정밀하게 다듬기 위해 잔차 디코더 블록과 형태학적 전처리를 구현하였다.
• 중복 감지 항목을 통합하기 위해 신뢰도 기반 중복 제거 및 윤곽 추출을 적용하였다.

실험 결과

연구 질문

• RQ1 건축적 선택과 손실 함수는 U-Net의 건물 인스턴스 세그멘테이션 성능에 어떤 영향을 미치는가?
• RQ2 저자원, 고변동성 위성 데이터에서 믹스업과 자기학습이 감지 mAP에 얼마나 기여하는가?
• RQ3 광도,粗/세밀한 위치 데이터에서 사전학습이 모델 일반화에 어떤 영향을 미치는가?
• RQ4 신뢰도 기반 융합 및 윤곽 추출을 통한 후처리가 대규모 출력에서 잡음(거짓 양성)을 줄일 수 있는가?

주요 결과

• 사전학습으로 ImageNet을 사용하고 광도 데이터로 미세조정한 최종 파이프라인이 mAP 0.610을 달성하였다.
• 믹스업 데이터 증강 기법은 기준 모델 대비 mAP를 +0.12 향상시켰다.
• 소프트 KL 손실을 사용한 자기학습은 mAP를 +0.06 향상시켰다.
• 모델은 농촌, 도시 및 사막 지역을 포함한 다양한 지역에서 강력한 성능 유지를 보였다.
• 파이프라인이 중복 제거 및 윤곽 추출 후 아프리카 전역에 걸쳐 총 5억 1,600만 개의 건물 외곽선을 생성하였다.
• 90% 정밀도를 확보하기 위해 신뢰도 점수 기준 임계치를 도출하여 지역별 품질 제어가 가능해졌다.