[논문 리뷰] Fine-Grained Land Use Classification at the City Scale Using Ground-Level Images

Yi Zhu, Xueqing Deng외 1명|arXiv (Cornell University)|2018. 02. 07.

Remote-Sensing Image Classification참고 문헌 31인용 수 5

한 줄 요약

이 논문은 플리커에서 확보한 지리정보가 부여된 지면 영상 데이터를 활용하여 도시 규모의 세분화된 토지 이용 분류를 위한 딥러닝 프레임워크를 제안한다. 검색 기반 데이터 증강과 온라인 적응형 학습을 통해 엔드 투 엔드로 훈련된 이중 스트림 컨볼루션 신경망을 적용하여, 새롭게 제작된 샌프란시스코 45개 클래스의 지상 진술 지ap에 대해 파 lot 단위로 29.03%의 리콜을 달성한다—세분화된 도시 토지 이용 지ap 작성에 있어 강력한 베이스라인을 제공한다.

ABSTRACT

We perform fine-grained land use mapping at the city scale using ground-level images. Mapping land use is considerably more difficult than mapping land cover and is generally not possible using overhead imagery as it requires close-up views and seeing inside buildings. We postulate that the growing collections of georeferenced, ground-level images suggest an alternate approach to this geographic knowledge discovery problem. We develop a general framework that uses Flickr images to map 45 different land-use classes for the City of San Francisco. Individual images are classified using a novel convolutional neural network containing two streams, one for recognizing objects and another for recognizing scenes. This network is trained in an end-to-end manner directly on the labeled training images. We propose several strategies to overcome the noisiness of our user-generated data including search-based training set augmentation and online adaptive training. We derive a ground truth map of San Francisco in order to evaluate our method. We demonstrate the effectiveness of our approach through geo-visualization and quantitative analysis. Our framework achieves over 29% recall at the individual land parcel level which represents a strong baseline for the challenging 45-way land use classification problem especially given the noisiness of the image data.

연구 동기 및 목표

• 기존 위성 영상 및 군집화된 토지 이용 지도가 인간 활동의 기능적 다양성을 포착하지 못하는 도시 규모의 세분화된 토지 이용 분류 문제를 해결하기 위해.
• 잡음이 많고 구조가 없는 사용자 생성 이미지의 한계를 극복하기 위해, 약한 지도 학습을 위한 강력한 딥러닝 기법을 개발하기 위해.
• 표준화된 고해상도 지상 진술 토지 이용 지도를 제작하여 샌프란시스코에 대해 3단계 계층 구조(상위 5개, 중간 16개, 세분화된 45개 클래스)를 제공함으로써 향후 연구를 위한 기준을 마련하기 위해.
• 대규모로 지리정보가 부여된 웹 이미지를 활용하여 자동으로 최신 도시 기능 지도를 작성하는 것이 가능하고 효과적인지를 입증하기 위해.

제안 방법

• 객체 인식을 위한 스트림과 풍경 인식을 위한 스트림을 가진 이중 스트림 컨볼루션 신경망을 제안하여, 시각적 콘텐츠에서 공동 특징 학습을 가능하게 한다.
• 노이즈가 많은 플리커 이미지에 대해 약한 지도 학습 방식으로 엔드 투 엔드로 훈련시키며, 일반화 능력을 향상시키기 위해 새로운 검색 기반 데이터 증강 전략을 적용한다.
• 학습 중에 모델을 동적으로 조정함으로써 노이즈 레이블과 분포 이탈에 대한 강건성을 향상시키기 위해 온라인 적응형 학습 전략을 도입한다.
• 지상 진술 지도는 땅 기반 분류 기준(Land Based Classification Standards, LBCS)과 구글 플레이스 API를 결합하여 구성되며, 평가를 위한 45개 클래스의 어노테이션 계층을 제공한다.
• 모든 데이터를 수동으로 레이블링하지 않고도, 샌프란시스코 전역의 지리정보가 부여된 이미지를 활용하여 확장 가능하고 대규모의 토지 이용 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 잡음이 많고 사용자 생성된 지면 영상만을 사용하여 도시 규모의 세분화된 토지 이용 분류를 효과적으로 달성할 수 있는가?
• RQ2 이중 스트림 CNN를 통한 엔드 투 엔드 학습 방식이 단일 스트림 모델에 비해 미세한 토지 이용 차이를 구분하는 데 얼마나 더 효과적인가?
• RQ3 검색 기반 데이터 증강과 온라인 적응형 학습 전략이 노이즈가 많은 웹 이미지 데이터에 대해 모델의 강건성을 얼마나 향상시키는가?
• RQ4 플리커 이미지로 훈련된 모델이 인스타그램과 같은 다른 소셜 미디어 소스로 일반화되는가? 이는 이식 가능성과 도메인 적응 능력을 시사한다.
• RQ5 세분화된 클래스로 훈련하는 것이 군집화된 레이블로 직접 훈련하는 것보다 더 높은 성능을 내는가?

주요 결과

• 제안된 이중 스트림 CNN 프레임워크는 45개 클래스 분류 작업에서 개별 토지 파 lot 단위로 29.03%의 리콜을 달성하여 세분화된 토지 이용 지도 작성에 있어 강력한 기준을 확립한다.
• 모델은 45개 클래스 분류에서 46.7%의 정확도, 16개 클래스에서는 61.8%, 5개 클래스에서는 75.6%의 정확도를 기록하여 세분화된 학습이 더 큰 계층에서의 성능 향상에 기여함을 보여준다.
• 세분화된 클래스로 훈련하는 것이 직접 군집화된 레이블로 훈련하는 것보다 성능이 뛰어나며, 후자는 높은 내부 클래스 분산으로 인해 뿐만 아니라 뿐만 아니라 랜덤 추측 수준(49.3%)에 불과하여 약간 높은 성능를 기록한다.
• 모델은 다른 데이터 소스로 일반화되며, 이미지 스타일과 콘텐츠의 차이에도 불구하고 인스타그램 이미지에서 17.3%의 리콜을 기록하여 우수한 도메인 적응 능력을 보여준다.
• 객체 스트림 브랜치가 풍경 스트림 브랜치를 능가하며, 이는 객체 수준의 단서가 토지 이용 분류에 더 구분력이 있다는 것을 시사하며, 향후 성능 향상을 위한 객체 검출기의 활용을 뒷받침한다.