[논문 리뷰] Slum Segmentation and Change Detection : A Deep Learning Approach

Shishira R Maiya, Sudharshan Chandra Babu|arXiv (Cornell University)|2018. 11. 19.

Urban and Rural Development Challenges참고 문헌 12인용 수 21

한 줄 요약

이 논문은 마스크 R-CNN과 전이 학습을 활용한 딥러닝 기반 접근법을 제안하여 위성 영상에서 개별 슬럼의 세분화 및 변화 탐지 작업을 수행한다. 100m 해상도에서 최대 평균 정밀도(AP) 80.2를 기록하여 개별 슬럼을 효과적으로 식별하고 시간에 따른 성장 또는 감소를 정량화하는 데 뛰어난 성능을 보였다.

ABSTRACT

More than one billion people live in slums around the world. In some developing countries, slum residents make up for more than half of the population and lack reliable sanitation services, clean water, electricity, other basic services. Thus, slum rehabilitation and improvement is an important global challenge, and a significant amount of effort and resources have been put into this endeavor. These initiatives rely heavily on slum mapping and monitoring, and it is essential to have robust and efficient methods for mapping and monitoring existing slum settlements. In this work, we introduce an approach to segment and map individual slums from satellite imagery, leveraging regional convolutional neural networks for instance segmentation using transfer learning. In addition, we also introduce a method to perform change detection and monitor slum change over time. We show that our approach effectively learns slum shape and appearance, and demonstrates strong quantitative results, resulting in a maximum AP of 80.0.

연구 동기 및 목표

• 위성 영상 기반으로 도시의 비공식 주거지에서 정확하고 개별적인 슬럼 지ap핑을 수행하는 데 도전한다.
• 이전 방법들이 모든 슬럼 인스턴스를 하나의 클래스로 취급하는 데서 비롯되는 한계를 극복하여 정밀한 재활 계획 수립을 가능하게 한다.
• 다중 시간적 위성 데이터를 활용해 슬럼 확장 또는 감소를 지속적으로 모니터링할 수 있는 확장성 있고 견고한 방법을 개발한다.
• 훈련 및 평가를 지원하기 위해 무역항 슬럼에 대한 다각형 마스크를 포함한 맞춤형 고해상도 데이터셋을 구축한다.
• 저자원 환경에서 인스턴스 세분화 작업에 있어 데이터 의존도를 줄이기 위해 전이 학습의 효과를 입증한다.

제안 방법

• 슬럼의 위성 영상에서의 인스턴스 세분화를 위해 ResNet-101과 피처 피라미드 네트워크를 백본으로 사용한 마스크 R-CNN을 활용한다.
• 분류, 바운딩 박스 회귀, 마스크 세분화 손실을 병합한 다중 태스크 손실 함수를 사용해 모델을 훈련한다.
• 무역항에서 확보한 610장의 위성 영상(훈련 513장, 테스트 97장)으로 구성된 맞춤형 데이터셋에 대해 COCO 사전 학습된 마스크 R-CNN을 미세 조정하여 전이 학습을 적용한다.
• 일반화 성능 향상을 위해 수평/수직 뒤집기, 회전, 이동, 색상 왜곡 등의 데이터 증강 기법을 적용한다.
• 이중 단계 변화 탐지 파이프라인을 구현한다: 훈련된 모델을 사용해 두 시점의 슬럼 마스크를 예측한 후, 이진 마스크 빼기 연산을 통해 백분율 변화를 계산한다.
• 이미지를 1024×1024로 크기 조정하고 약간의 패딩을 추가하면서 약간의 비율을 유지하며, 128 에포크 동안 학습률를 코즈인 감소 전략을 적용한 Adam 옵timizer를 사용한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 인스턴스 세분화 모델은 고해상도 위성 영상에서 개별 슬럼을 효과적으로 식별하고 세분화할 수 있는가?
• RQ2 세분화 정확도 측면에서 100m 해상도와 1000m 해상도 간의 공간 척도에 따라 모델의 성능은 어떻게 달라지는가?
• RQ3 전이 학습을 통해 슬럼 세분화 작업에서 대규모 애너테이션 데이터셋이 필요한 정도는 어느 정도 감소할 수 있는가?
• RQ4 다중 시간적 위성 데이터를 활용해 모델이 슬럼 크기의 변화를 신뢰성 있게 탐지하고 정량화할 수 있는가?
• RQ5 복잡한 질감과 혼합된 토지 이용 방식을 가진 이질적인 슬럼 지역에 대해 모델의 일반화 능력은 얼마나 뛰어난가?

주요 결과

• 100m 해상도 테스트 세트에서 모델은 평균 정밀도(AP) 80.2를 기록하여 강력한 인스턴스 세분화 성능을 입증했다.
• 100m 해상도 모델은 1000m 해상도 모델보다 뛰어난 성능을 보였으며, IoU 0.86, AP 80.2를 기록한 반면, 1000m 해상도에서는 IoU 0.73, AP 38.3을 기록했다.
• 특정 슬럼 지역, 예를 들어 반두프(100m 해상도에서 AP 95.2)에서는 매우 높은 정확도를 보이며, 복잡한 도시 질감에 대한 강력한 일반화 능력을 입증했다.
• 변화 탐지 파이프라인은 마스크 빼기 기반으로 2005년에서 2018년 사이에 테스트 지역에서 슬럼 면적이 35.25% 증가함을 정량화하여 성공적으로 검증했다.
• 모델은 비정규적인 형태와 혼합된 토지 이용 방식을 포함한 시각적 및 공간적 특징을 효과적으로 포착했으며, 이질적인 주거지에서도 잘 작동했다.
• 전이 학습을 활용함으로써 제한된 애너테이션 데이터로도 높은 성능을 달성했으며, 비교적 작은 맞춤형 데이터셋에서도 강력한 결과를 보였다.