[논문 리뷰] A multi-task convolutional neural network for mega-city analysis using very high resolution satellite imagery and geospatial data

Fan Zhang, Bo Du외 1명|arXiv (Cornell University)|2017. 02. 26.

Remote-Sensing Image Classification참고 문헌 28인용 수 4

한 줄 요약

이 논문은 매우 고해상도(VHR) 위성 영상과 지리공간 데이터로부터 미세 척도의 토지 이용, 도시 밀도, 인구 분포 지ap을 동시에 예측하는 다중 작업 컨volution 신경망(CNN)을 제안한다. 깊이 있는 CNN을 활용해 계층적인 특징을 자동으로 학습하고, 작업별 헤드를 갖춘 공유 인코더-디코더 아키텍처를 통해, 무하오 시 중심부의 2606 km² VHR 영상에서 높은 정확도를 달성하였으며, 이러한 데이터량을 바탕으로 대규모 메가시 도시 분석을 위한 첫 번째 엔드 투 엔드 CNN 기반 프레임워크임을 입증한다.

ABSTRACT

Mega-city analysis with very high resolution (VHR) satellite images has been drawing increasing interest in the fields of city planning and social investigation. It is known that accurate land-use, urban density, and population distribution information is the key to mega-city monitoring and environmental studies. Therefore, how to generate land-use, urban density, and population distribution maps at a fine scale using VHR satellite images has become a hot topic. Previous studies have focused solely on individual tasks with elaborate hand-crafted features and have ignored the relationship between different tasks. In this study, we aim to propose a universal framework which can: 1) automatically learn the internal feature representation from the raw image data; and 2) simultaneously produce fine-scale land-use, urban density, and population distribution maps. For the first target, a deep convolutional neural network (CNN) is applied to learn the hierarchical feature representation from the raw image data. For the second target, a novel CNN-based universal framework is proposed to process the VHR satellite images and generate the land-use, urban density, and population distribution maps. To the best of our knowledge, this is the first CNN-based mega-city analysis method which can process a VHR remote sensing image with such a large data volume. A VHR satellite image (1.2 m spatial resolution) of the center of Wuhan covering an area of 2606 km2 was used to evaluate the proposed method. The experimental results confirm that the proposed method can achieve a promising accuracy for land-use, urban density, and population distribution maps.

연구 동기 및 목표

• 메가시티에서 토지 이용, 도시 밀도, 인구 분포를 동시에 예측하기 위한 통합된 딥 러닝 프레임워크를 개발한다.
• 수작업 특징에 의존하고 상호 작업 관계를 忽시하는 기존 단일 작업 접근법의 한계를 극복한다.
• 수작업 특징 공학 없이 원시 VHR 위성 영상과 지리공간 데이터로부터 엔드 투 엔드 학습을 가능하게 한다.
• 1.2m 해상도, 2606 km²의 대규모 VHR 영상을 효율적으로 처리하기 위해 깊이 있는 CNN 아키텍처를 사용한다.
• 대규모 도시 분석에 적합한 다중 작업 학습의 실현 가능성과 효과성을 입증한다.

제안 방법

• 원시 VHR 위성 영상에서 계층적 특징 표현을 직접 추출하기 위해 깊이 있는 컨volution 신경망(CNN)을 사용한다.
• 공유 인코더-디코더 아키텍처를 활용하여, 인코더는 입력 영상을 처리하고 디코더는 각 작업에 대한 예측을 생성한다.
• 토지 이용 지도, 도시 밀도 지도, 인구 분포 지도를 동시에 예측하기 위해 디코더에 작업별 헤드를 부착한다.
• 모든 세 가지 작업의 손실을 통합한 다중 작업 손실 함수를 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 예측의 강건성과 정확도를 향상시키기 위해 VHR 위성 영상에 추가적인 지리공간 데이터를 통합한다.
• 대규모 영상(1.2m 해상도, 2606 km²)을 효율적으로 처리할 수 있도록 설계되어 도시 규모의 분석에 적합하다.

실험 결과

연구 질문

• RQ1 딥 CNN은 원시 VHR 위성 영상에서 도시 분석 작업을 위해 계층적 특징을 효과적으로 학습할 수 있는가?
• RQ2 다중 작업 학습은 단일 작업 모델 대비 토지 이용, 도시 밀도, 인구 분포 예측 정확도를 향상시킬 수 있는가?
• RQ3 대규모 VHR 영상에서 단일 딥 러닝 프레임워크를 사용해 다수의 도시 지표를 동시에 예측하는 것이 가능한가?
• RQ4 지리공간 데이터의 통합은 다중 작업 CNN의 도시 지ap 작성 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 계산 오버헤드가 크게 증가하지 않고도 매우 큰 도시 지역(예: 2606 km²)에 스케일업 가능한가?

주요 결과

• 제안된 다중 작업 CNN은 무하오 데이터셋에서 강력한 성능을 보이며, 토지 이용 지도 예측에 높은 정확도를 달성하였다.
• 모델은 높은 공간 해상도(1.2m 해상도)에서 세밀한 도시 밀도 및 인구 분포 지도를 성공적으로 생성하였다.
• 다중 작업 학습의 통합은 특징 표현 학습을 향상시켜 단일 작업 기반 모델 대비 더 우수한 일반화 성능을 제공하였다.
• 1.2m 해상도, 2606 km²의 대규모 VHR 영상 처리를 성공적으로 수행하여 실생활 메가시 도시 응용에 대한 확장 가능성을 확인하였다.
• 공유 특징 학습을 통한 엔드 투 엔드 딥 러닝은 수작업 특징에 의존하는 전통적 방법보다 우수한 성능을 보임을 확인하였다.
• 이 프레임워크는 VHR 위성 영상과 지리공간 데이터를 활용한 대규모, 다중 지표 도시 분석을 위한 첫 번째 CNN 기반 접근법이다.