[논문 리뷰] Quantifying Urban Canopy Cover with Deep Convolutional Neural Networks

Bill Cai, Xiaojiang Li외 1명|arXiv (Cornell University)|2019. 12. 03.

Urban Heat Island Mitigation참고 문헌 37인용 수 7

한 줄 요약

이 논문은 스트리트 레벨 영상에서 도시 캐노피 커버 추정의 정확도와 확장성을 향상시키기 위해 딥 컨volution 신경망(DCNN) 기반 접근법을 제안한다. 구글 스트리트 뷰 및 시티스케이프 데이터셋에서 의미 분할과 엔드 투 엔드 학습을 활용함으로써, 녹색 뷰 지수(GVI) 추정의 평균 절대 오차를 10.1%에서 4.67%로 감소시켜 22개 도시를 아우르는 대규모 분석을 가능하게 하였으며, 도시 산림 정책 및 연구에 기여한다.

ABSTRACT

Urban canopy cover is important to mitigate the impact of climate change. Yet, existing quantification of urban greenery is either manual and not scalable, or use traditional computer vision methods that are inaccurate. We train deep convolutional neural networks (DCNNs) on datasets used for self-driving cars to estimate urban greenery instead, and find that our semantic segmentation and direct end-to-end estimation method are more accurate and scalable, reducing mean absolute error of estimating the Green View Index (GVI) metric from 10.1% to 4.67%. With the revised DCNN methods, the Treepedia project was able to scale and analyze canopy cover in 22 cities internationally, sparking interest and action in public policy and research fields.

연구 동기 및 목표

• 대규모 도시 녹화를 정량화하는 데 있어 수작업 및 전통적인 컴퓨터 비전 방법의 한계를 해결하기 위해.
• 특히 녹색 뷰 지수(GVI)에 대한 스트리트 레벨 도시 캐노피 커버 추정의 정확도를 향상시키기 위해.
• 기존의 임계값-군집 기반 기법보다 뛰어난 성능을 보이는 확장 가능한 자동화된 딥 러닝 기반 방법을 개발하기 위해.
• 공공 정책 및 환경 연구 응용을 위한 대규모 도시 녹화 분석을 가능하게 하기 위해.
• 식생 탐지에서 임의의 양성 및 음성 결과를 줄여 더 신뢰할 수 있는 도시 캐노피 커버 측정 기준을 제공하기 위해.

제안 방법

• 스트리트 레벨 영상 내 수직 식생의 의미 분할을 위해 피라미드 스크린 분석 네트워크(PSPNet) 아키텍처를 훈련시켰다.
• GSV 데이터셋에 대한 미세조정 이전에 특징 학습을 향상시키기 위해, Cityscapes 데이터셋으로 사전 훈련한 후 이진 식생/비식생 레이블로 변환한 후 DCNN을 훈련시켰다.
• 제한된 레이블이 부여된 GSV 데이터에 대한 성능 향상을 위해 원본 Cityscapes 모델의 사전 훈련된 가중치를 초기 가중치로 사용하여 전이 학습을 적용했다.
• 중간 분할 단계를 생략하고 입력 영상에서 직접 녹색 뷰 지수(GVI)를 예측하기 위해 엔드 투 엔드 학습을 사용했다.
• 평가 지표로 의미 분할 정확도를 측정하기 위해 평균 교차율(평균 IoU)과 GVI 추정 정확도를 측정하기 위해 평균 절대 오차(MAE)를 사용했다.
• 모델의 결정을 해석하고 입력 영상에서 관련 식생 특징에 네트워크가 집중하고 있음을 확인하기 위해 Grad-CAM 시각화를 적용했다.

실험 결과

연구 질문

• RQ1 딥 컨volution 신경망은 기존의 임계값-군집 기반 기법에 비해 도시 캐노피 커버 추정의 정확도를 향상시킬 수 있는가?
• RQ2 Cityscapes 데이터셋에서의 전이 학습은 제한된 스트리트 레벨 영상에서 식생 분할 성능을 어느 정도 향상시키는가?
• RQ3 엔드 투 엔드 DCNN 접근법은 다양한 도시 환경에서 녹색 뷰 지수(GVI) 추정에 의미 분할 기법과 비교해 어떻게 성능을 내는가?
• RQ4 모델 아키텍처와 훈련 전략은 수직 식생 탐지에서의 잘못된 양성 및 잘못된 음성 결과 감소에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 다수의 국제 도시에 걸쳐 대규모 도시 녹화 분석을 효과적으로 확장할 수 있는가?

주요 결과

• 제안된 DCNN 기반 의미 분할 방법은 기존 방법 대비 GVI 추정의 평균 절대 오차(MAE)를 10.1%에서 4.67%로 크게 감소시켰다.
• 평균 교차율(평균 IoU)로 측정한 위치 정확도가 향상되어 수직 식생의 픽셀 수준 탐지가 더 정확해졌다.
• Cityscapes 데이터셋에서의 전이 학습을 통해 모델의 일반화 능력과 더불어 더 작은 도시 특화 GSV 데이터셋에서의 성능이 향상되었다.
• GVI를 직접 추정하는 엔드 투 엔드 DCNN 접근법은 높은 정확도와 확장성을 보이며, 22개 도시를 아우르는 대규모 분석을 가능하게 하였다.
• Grad-CAM 시각화 결과, 모델이 관련 식생 특징에 집중하고 있음을 확인하여 설명 가능성과 신뢰도가 향상되었다.
• 이러한 정확도 향상과 확장성 덕분에, Treepedia 프로젝트는 도시 산림 및 기후 적응력 분야의 공공 정책 및 연구 이니셔티브를 지원할 수 있게 되었다.