[논문 리뷰] Mapping Temporary Slums from Satellite Imagery using a Semi-Supervised Approach

Mohibur Rehman, Izza Aftab외 2명|arXiv (Cornell University)|2022. 04. 09.

Remote-Sensing Image Classification참고 문헌 19인용 수 20

한 줄 요약

이 논문은 최소한의 레이블된 시드 데이터를 사용하여 위성 영상에서 일시적인 슬럼을 자동으로 탐지하는 준지도 학습 프레임워크를 제안한다. 도시 구조의 시간적 변화를 활용해 초기 시드 이미지를 식별하고, 임베딩 유사도와 가짜 레이블링을 통해 반복적으로 신뢰도가 높은 미레이블링된 이미지를 선택함으로써, 준지도 기반 기준 대비 1.9배, 지도 학습 기반 기준 대비 1.8배 향상된 성능을 달성하였다. 이는 파키스탄 12개 도시에서 총 2.28 km² 규모의 새로운 데이터셋에서 확인되었다.

ABSTRACT

One billion people worldwide are estimated to be living in slums, and documenting and analyzing these regions is a challenging task. As compared to regular slums; the small, scattered and temporary nature of temporary slums makes data collection and labeling tedious and time-consuming. To tackle this challenging problem of temporary slums detection, we present a semi-supervised deep learning segmentation-based approach; with the strategy to detect initial seed images in the zero-labeled data settings. A small set of seed samples (32 in our case) are automatically discovered by analyzing the temporal changes, which are manually labeled to train a segmentation and representation learning module. The segmentation module gathers high dimensional image representations, and the representation learning module transforms image representations into embedding vectors. After that, a scoring module uses the embedding vectors to sample images from a large pool of unlabeled images and generates pseudo-labels for the sampled images. These sampled images with their pseudo-labels are added to the training set to update the segmentation and representation learning modules iteratively. To analyze the effectiveness of our technique, we construct a large geographically marked dataset of temporary slums. This dataset constitutes more than 200 potential temporary slum locations (2.28 square kilometers) found by sieving sixty-eight thousand images from 12 metropolitan cities of Pakistan covering 8000 square kilometers. Furthermore, our proposed method outperforms several competitive semi-supervised semantic segmentation baselines on a similar setting. The code and the dataset will be made publicly available.

연구 동기 및 목표

• 레이블 데이터와 지리 정보의 부족으로 인해 소규모이고 산재해 있으며 일시적인 슬럼을 탐지하는 데 도전하는 문제를 해결한다.
• 위성 영상의 시간적 변화를 활용해 최소한의 레이블 데이터로도 탐지 작업을 시작할 수 있는 방법을 개발한다.
• 파키스탄 12개 메트로폴리탄 시티 전역에 걸쳐 일시적인 슬럼을 포함한 대규모 지리적으로 표시된 데이터셋을 구축한다.
• 최소한의 인간 레이블링으로도 저자원 환경에서 확장 가능하고 자동화된 일시적 슬럼 탐지 시스템을 제공한다.

제안 방법

• 위성 영상의 시간적 일관성을 활용해 일시적인 슬럼을 포함하는 초기 시드 이미지의 소량을 자동으로 식별한다.
• 초기 시드 데이터로부터 U-Net 기반의 세그멘테이션 모델과 64차원 임베딩 모델을 훈련시킨다.
• 레이블된 이미지와 미레이블링된 이미지의 임베딩 간 코사인 유사도를 계산하여 유사도 점수를 산정하고, 가장 유사한 이미지를 선별해 가짜 레이블링을 수행한다.
• 픽셀 수준의 필터링 적용: 슬럼 영역 예측 비율이 5% 미만 또는 비슬럼 이미지의 경우 5% 초과인 이미지를 제거하여 품질을 확보한다.
• 신뢰도가 높은 가짜 레이블링된 이미지를 반복적으로 학습 데이터셋에 추가하고, 세그멘테이션 및 임베딩 모델을 재학습시킨다.
• 확장된 학습 데이터셋에서 슬럼 대 비슬럼 비율이 초기 비율과 일치할 때까지 반복을 중단함으로써 균형 잡힌 학습을 보장한다.

실험 결과

연구 질문

• RQ1 최소한의 초기 레이블 데이터로 준지도 학습 접근 방식이 일시적인 슬럼을 탐지할 수 있는가?
• RQ2 위성 영상의 시간적 변화는 어떻게 활용되어 슬럼 탐지의 초기 시드 이미지를 발견할 수 있는가?
• RQ3 낮은 데이터 환경에서 제안된 방법이 기존 준지도 학습 및 지도 학습 기반 기준 대비 성능 향상은 어느 정도인가?
• RQ4 이 프레임워크는 최소한의 적응으로도 다른 도시 지역에 일반화될 수 있는가?
• RQ5 임베딩 유사도를 활용한 반복적 가짜 레이블링 전략은 세그멘테이션 정확도 향상에 얼마나 효과적인가?

주요 결과

• 제안된 방법은 평균 교차율(Intersection over Union, mIoU) 0.33을 달성하여 지도 학습 기준 대비 1.8배 향상된 성능을 보였다.
• Cutmix, Cutout, ICT, VAT와 같은 경쟁 기반 준지도 학습 기준 대비 1.9배 향상된 mIoU 성능을 달성하였다.
• 절단 실험 결과 K=30에서 최고의 성능(mIoU=0.33)을 기록하였으며, K=50 및 K=100에서는 다소 낮은 mIoU 값이 관찰되었다.
• 반복적 정밀 조정을 통해 3938개의 미레이블링된 이미지 풀에서 345개의 슬럼 이미지를 성공적으로 식별하였고, 목표 슬럼 대 비슬럼 비율에 도달하였다.
• 단지 32개의 수동으로 레이블링된 시드 이미지만으로도 0-데이터셋 시나리오에서 탐지가 가능해졌으며, 이는 프로세스를 시작할 수 있음을 의미한다.
• 구축된 데이터셋은 파키스탄 12개 메트로폴리탄 시티 전역에 걸쳐 총 2.28 km²를 차지하며, 향후 연구를 위한 유의미한 기준 데이터셋을 제공한다.