[논문 리뷰] Satellite Image Semantic Segmentation

Éric Guérin, Killian Oechslin외 2명|arXiv (Cornell University)|2021. 10. 12.

Advanced Image and Video Retrieval Techniques참고 문헌 1인용 수 5

한 줄 요약

이 논문은 IGN의 개방형 프랑스 지리 데이터에서 유도된 고유한 데이터셋을 기반으로 스위니 트랜스포머 아키텍처를 사용하여 위성 영상에 대한 의미적 세그멘테이션 방법을 제안한다. 모델은 1000×1000 픽셀 틀리셋 데이터셋에서 mIoU 54.22%를 달성하였으며, 재현 가능성과 칸탈 지역과 같은 새로운 지역으로의 일반화를 지원하기 위해 공개된 가중치와 데이터를 제공한다.

ABSTRACT

In this paper, we propose a method for the automatic semantic segmentation of satellite images into six classes (sparse forest, dense forest, moor, herbaceous formation, building, and road). We rely on Swin Transformer architecture and build the dataset from IGN open data. We report quantitative and qualitative segmentation results on this dataset and discuss strengths and limitations. The dataset and the trained model are made publicly available.

연구 동기 및 목표

• 딥 러닝을 활용하여 위성 영상의 의미적 세그멘테이션을 6개의 지형 유형—희박한 숲, 조밀한 숲, 풀밭, 초본 식생, 건물, 도로—으로 자동화하는 것.
• 기존에 준비된 위성 영상 세그멘테이션 데이터의 부족 문제를 해결하기 위해 개방형 IGN 지리 자료에서 새로운 데이터셋을 구축하는 것.
• 디지털 엔터테인먼트 분야의 가상 세계 생성을 향상시키기 위해 위성 영상에서 데이터 기반의 자동 지형 유형 레이블링을 가능하게 하는 것.
• 학습 도메인 외부의 지역(예: 칸탈 지방)에서의 위성 영상에 대해 훈련된 모델의 일반화 능력을 평가하는 것.

제안 방법

• 이 방법은 고해상도 위성 영상 내에서 장거리 및 국소적 공간적 의존성을 효율적으로 포착하기 위해 이동 윈도우 자기주의 주의를 갖춘 스위니 트랜스포머 백본을 사용한다.
• IGN의 개방형 데이터에서 고유한 데이터셋을 구축하였으며, 이는 BD Ortho(위성 영상), BD Foret v2(식생), BD Topo(건물 및 도로)를 포함하며, 모두 50cm/픽셀로 재샘플링되었다.
• 벡터 기반 데이터셋(BD Foret 및 BD Topo)은 GDAL의 gdal_rasterize 도구를 사용하여 위성 영상 해상도에 맞추어 래스터화되었다.
• 최종 데이터셋은 하우트-알프스에서 유래한 600개의 공간적으로 다양성이 확보된 1000×1000 픽셀 틀리셋(500m × 500m)으로 구성되며, 복잡성 감소와 세그멘테이션 정확도 향상을 위해 클래스 레이블이 통합되었다.
• 클래스 불균형 문제를 완화하기 위해 훈련 중에 클래스 가중치를 적용하였으며, 이 값은 경험적으로 0.5에서 1.5 사이로 설정되었다.
• 업스트림 풀 네트워크(UPerNet) 헤드를 사용하였으며, 스위니-라지 백본을 사용하여 코즈인 학습률 스케줄링과 ImageNet-22K 사전학습을 활용해 총 60,000 반복 학습을 수행하였다.

실험 결과

연구 질문

• RQ1 제한된 애너테이션 데이터로도 스위니 트랜스포머 기반 모델이 프랑스 다양한 지형 지역에서 위성 영상의 의미적 세그멘테이션을 안정적으로 수행할 수 있는가?
• RQ2 하우트-알프스에서만 훈련된 모델이 칸탈 지역과 같은 새로운 지역의 위성 영상에 대해 얼마나 잘 일반화되는가?
• RQ3 위성 영상과 원본 벡터 데이터 간의 시간적 불일치가 세그멘테이션 정확도에 어느 정도 영향을 미치는가?
• RQ4 클래스 불균형과 누락된 데이터(검은 픽셀)는 모델 성능과 훈련 안정성에 어떤 영향을 미치는가?
• RQ5 다양한 오픈소스 지리 데이터셋(예: BD Ortho, BD Foret, BD Topo)의 통합이 지형 유형 세그멘테이션을 위한 신뢰할 수 있고 확장 가능한 훈련 데이터셋을 제공할 수 있는가?

주요 결과

• 모델은 384×384 크롭 크기와 60,000회의 훈련 반복을 사용하여 검증 세트에서 평균 교차율(mIoU) 54.22%를 달성하였다.
• 모델은 하우트-알프스 외부의 지역, 특히 칸탈 지방의 위성 영상에 대해 충분히 잘 일반화되어 있음을 입증하였으며, 경관과 영상 품질의 차이에도 불구하고 우수한 세그멘테이션 결과를 보였다.
• 도로 세그멘테이션은 여전히 도전 과제이다. 나무 등에 의해 가림을 입어도 실제 지도에선 선형 특징이 존재하더라도 모델이 이를 탐지하지 못한다.
• 위성 영상과 벡터 기반 지도(예: BD Foret) 사이의 시간적 불일치는 잘못된 레이블링을 유도하며, 예를 들어 밀도가 낮은 식생이 존재하는 곳에 조밀한 숲으로 잘못 분류되는 경우가 발생한다.
• 클래스 균형 가중치의 사용은 희귀 클래스인 조밀한 숲과 풀밭에 대한 훈련 안정성과 성능을 크게 향상시켰다.
• 데이터셋과 훈련된 모델이 모두 공개되어 있어 재현 가능성이 보장되고, 자동화된 위성 영상 세그멘테이션 분야의 향후 연구를 가능하게 한다.