[논문 리뷰] Using convolutional networks and satellite imagery to identify patterns in urban environments at a large scale

Adrian Albert, Jasleen Kaur외 1명|arXiv (Cornell University)|2017. 04. 10.

Remote-Sensing Image Classification참고 문헌 16인용 수 23

한 줄 요약

이 논문은 10개 유럽 도시에서 14만 건의 샘플을 포함하는 새로운 오픈 데이터셋을 활용하여, 심층 신경망(CNN)과 위성 영상 기반으로 대규모 도시 토지 이용 분류를 위한 프레임워크를 제안한다. CNN으로 학습된 특징은 정확한 토지 이용 분류와 의미 있는 도시 간 이웃 지역 비교를 가능하게 하며, 데이터가 부족한 지역에서 저비용으로 확장 가능한 도시 분석 솔루션을 제공한다.

ABSTRACT

Urban planning applications (energy audits, investment, etc.) require an understanding of built infrastructure and its environment, i.e., both low-level, physical features (amount of vegetation, building area and geometry etc.), as well as higher-level concepts such as land use classes (which encode expert understanding of socio-economic end uses). This kind of data is expensive and labor-intensive to obtain, which limits its availability (particularly in developing countries). We analyze patterns in land use in urban neighborhoods using large-scale satellite imagery data (which is available worldwide from third-party providers) and state-of-the-art computer vision techniques based on deep convolutional neural networks. For supervision, given the limited availability of standard benchmarks for remote-sensing data, we obtain ground truth land use class labels carefully sampled from open-source surveys, in particular the Urban Atlas land classification dataset of $20$ land use classes across $~300$ European cities. We use this data to train and compare deep architectures which have recently shown good performance on standard computer vision tasks (image classification and segmentation), including on geospatial data. Furthermore, we show that the deep representations extracted from satellite imagery of urban environments can be used to compare neighborhoods across several cities. We make our dataset available for other machine learning researchers to use for remote-sensing applications.

연구 동기 및 목표

• 비용이 많이 들고 전문가 중심인 설문 조사에 의존하지 않고도 위성 영상과 심층 학습을 활용해 도시 토지 이용을 자동으로 대규모로 분류할 수 있는 확장 가능한 방법을 개발하기 위해.
• 원격 감지 데이터의 레이블이 부족한 문제를 해결하기 위해, 300개의 유럽 도시에서 제공하는 도시 지도(Urban Atlas) 데이터셋을 기반으로 10개 도시에 대해 14만 건의 위성 영상 샘플과 실제 토지 이용 레이블을 포함한 대규모 오픈 데이터셋을 구축하기 위해.
• 위성 영상에서 추출한 심층 컨volution 레이어 특징을 활용해 다양한 도시 간 도시 환경을 비교할 수 있도록 하기 위해.
• 학습된 표현 방식이 지리적으로 다양성이 큰 도시 지역 간에 이식 가능함을 입증하여 도시 계획 및 스마트 시티 응용 분야에 기여하기 위해.
• 원격 감지, 도시 인포매틱스, 도시 환경에서의 머신 러닝 연구를 촉진하기 위해 공개된 데이터셋과 훈련된 모델을 제공하기 위해.

제안 방법

• 10개의 유럽 도시에서 확보한 224×224 RGB 위성 영상 14만 건의 대규모 데이터셋을 기반으로 최신의 심층 컨volution 신경망(VGG-16 및 ResNet)을 훈련시켰다.
• 10개의 표준화된 토지 이용 유형(예: 주거, 산업, 녹지 등)을 포함한 300개의 유럽 도시에서 제공하는 도시 지도(Urban Atlas) 데이터셋을 기반으로 실제 레이블을 확보하였으며, 본 연구에서는 이 중 10개 도시를 대상으로 선정하였다.
• 모델의 일반화 및 강인성을 향상시키기 위해 무작위 반전, 기울임, 스케일링, 회전 등의 데이터 증강 기법을 적용하였다.
• ImageNet 가중치로 초기화한 후, 확률적 경사 하강법(Adadelta 최적화)을 사용하여 위성 영상 데이터에 대해 미세 조정(fine-tuning)하는 전이 학습 기법을 활용하였다.
• 훈련된 CNN의 최종 완전 연결 레이어에서 심층 특징을 추출하여 도시 환경을 저차원의 연속 공간에 표현하였다.
• 이러한 학습된 특징을 활용해 다양한 도시의 이웃 지역 간 클러스터링 및 유사도 분석을 수행하여, 도시 환경의 시각적 구성에 기반한 시각적 및 구조적 비교를 가능하게 하였다.

실험 결과

연구 질문

• RQ1 도시 간 시각적 다양성이 높음에도 불구하고, 심층 컨volution 신경망이 위성 영상에서 대규모로 도시 토지 이용을 정확히 분류할 수 있는가?
• RQ2 위성 영상에서 추출한 심층 특징이 서로 다른 도시 간 도시 이웃 지역을 얼마나 의미 있게 비교하는 데 기여하는가?
• RQ3 내도시 및 이도시 토지 이용 분류에서 모델 성능는 어떻게 달라지며, 이러한 차이를 유도하는 요인는 무엇인가?
• RQ4 어떤 토지 이용 유형이 위성 영상 기반 자동 분류에 가장 적합하고, 가장 부적합한가? 그 이유는 무엇인가?
• RQ5 CNN에서 학습된 표현 방식을 활용해 도시 환경 간의 시각적 유사도를 측정할 수 있는가? 이 측정 방식이 실제 도시 계획 및 사회경제적 패턴을 반영하는가?

주요 결과

• 동일한 功能 유형을 가진 도시 환경에서도 높은 시각적 다양성이 존재함에도 불구하고, 제안된 방법은 도시 토지 이용 분류에 있어 유의미한 정확도를 달성하였다.
• 모델는 '고밀도', '중간밀도', '저밀도' 도시 지역을 가장 잘 구분하지 못했으며, 이는 이러한 고수준 분류가 주관적이고 복잡한 성격을 지닌다는 점을 시사한다.
• 농경지, 산림, 공항은 도시 간에 뚜렷한 시각적 일관성을 보이며, 신뢰할 수 있는 분류와 정량적 유사도 측정이 가능하였다.
• 녹지 공간(공원)은 산림 및 여가 시설과 유사한 시각적 특징을 보였으며, 내도시 분류 성능이 이도시 분류 성능보다 높았다.
• 산업 지역은 이도시 간 높은 유사도를 보였으며, 이는 산업 지역의 시각적 패턴이 지리적 특수성에 크게 의존하지 않고 지역 간 이식 가능성이 높다는 것을 의미한다.
• CNN에서 추출한 심층 특징은 어떤 도시 이웃 지역이라도 효과적으로 '이웃'으로 식별할 수 있었으며, 이는 시각적 구성에 기반한 풍부하고 데이터 기반의 도시 환경 비교를 가능하게 하였다.