[논문 리뷰] Quantitative Comparison of Open-Source Data for Fine-Grain Mapping of Land Use

Xueqing Deng, Shawn Newsam|arXiv (Cornell University)|2017. 11. 09.

Geographic Information Systems Studies참고 문헌 14인용 수 4

한 줄 요약

이 연구는 샌프란시스코에서 세분화된 토지이용 지ap핑을 위해 신규로 개발한 159개 클래스의 토지이용 분류체계를 기반으로, 구글 플레이스, 빙 맵스, 옐로우 페이즈, 오픈스트리트맵의 네 가지 오픈소스 데이터 소스를 평가한다. 일부 경우에서 높은 정밀도를 보였지만, 데이터 소스 간 일치도가 낮고 공신력 있는 데이터 대비 정확도도 낮아, 이러한 데이터셋만으로는 신뢰할 수 있는 세분화된 토지이용 분류를 달성하기에는 부족하다는 결론을 도출한다.

ABSTRACT

This paper performs a quantitative comparison of open-source data available on the Internet for the fine-grain mapping of land use. Three points of interest (POI) data sources--Google Places, Bing Maps, and the Yellow Pages--and one volunteered geographic information data source--Open Street Map (OSM)--are compared with each other at the parcel level for San Francisco with respect to a proposed fine-grain land-use taxonomy. The sources are also compared to coarse-grain authoritative data which we consider to be the ground truth. Results show limited agreement among the data sources as well as limited accuracy with respect to the authoritative data even at coarse class granularity. We conclude that POI and OSM data do not appear to be sufficient alone for fine-grain land-use mapping.

연구 동기 및 목표

• 패러셀 수준의 세분화된 토지이용 지도 제작에 적합한 오픈소스 데이터 소스의 적합성을 평가하기 위해.
• 미국계획협회 기준을 바탕으로, 토지피복과는 구별되는 새로운 세부적인 토지이용 분류체계(159개 클래스)를 수립하기 위해.
• 세 가지 POI 소스(Google Places, Bing Maps, Yellow Pages)와 하나의 VGI 소스(OpenStreetMap)가 상호 간 및 공신력 있는 데이터 대비 성능을 비교하기 위해.
• 기존 오픈소스 데이터의 한계를 정량화하여 정확하고 세분화된 토지이용 분류를 달성하는 데 있어 제약 요소를 규명하기 위해.
• 현재 오픈소스 소스를 활용한 신뢰할 수 있는 토지이용 지도 제작을 저해하는 데이터 커버리지 및 분류체계 일치성의 격차를 특정하기 위해.

제안 방법

• 미국계획협회의 토지기반 분류기준(Land Based Classification Standard)을 기반으로, 9개의 레벨-1, 47개의 레벨-2, 159개의 레벨-3 클래스를 포함하는 계층적 세분화된 토지이용 분류체계를 개발하였다.
• 샌프란시스코의 패러셀 수준 토지이용 데이터를 네 가지 소스(Google Places, Bing Maps, Yellow Pages, OpenStreetMap)로부터 확보하고 지오로컬라이제이션을 수행하였다.
• 맞춤형 LBCS 분류체계를 DataSF에서 제공하는 개략적 공신력 있는 토지이용 데이터와 정렬하여 비교 평가를 가능하게 하였다.
• 각 데이터 소스의 정확도를 공신력 있는 데이터셋 대비 평가하기 위해 정밀도와 재현율 지표를 적용하였다. 이는 개략적 및 세분화된 수준에서 모두 수행되었다.
• 패러셀 수준에서 다양한 분류체계 수준 간 데이터 소스 간 일치도를 측정하기 위해 교차합집합(IoU)을 계산하였다.
• 정량적 지표(정밀도, 재현율, F1-스코어)와 시각적 검토를 통한 비교 분석을 수행하여, 클래스 레이블링 및 분류체계 일치성의 격차를 규명하였다.

실험 결과

연구 질문

• RQ1 Google Places, Bing Maps, Yellow Pages, OpenStreetMap의 네 오픈소스 데이터 소스가 세분화된 토지이용 분류에 있어 패러셀 수준에서 상호 간 일치도는 어떻게 되는가?
• RQ2 이러한 오픈소스 데이터 소스가 개략적 공신력 있는 토지이용 데이터셋과 비교할 때, 수용 가능한 정밀도와 재현율을 얼마나 달성하는가?
• RQ3 클래스 분류체계와 데이터 정밀도의 격차가 오픈소스 소스를 활용한 토지이용 지도 제작의 신뢰성에 어떤 영향을 미치는가?
• RQ4 POI 및 VGI 데이터의 주요 한계는 무엇이며, 특히 미국 도시 환경에서 세분화된 토지이용 지도 제작을 뒷받침하는 데 있어 어떤 영향을 미치는가?
• RQ5 오픈소스 데이터 소스를 효과적으로 통합하여 토지이용 분류 정확도를 향상시킬 수 있는가, 아니면 추가적인 데이터 소스가 필요할까?

주요 결과

• Google Places와 옐로우 페이즈가 서로 가장 높은 일치도를 보였으며, 클래스 2000(일반 판매 또는 서비스)의 레벨-1 분류체계에서 최대 49.33%의 일치도를 기록하였다.
• Bing Maps는 CIE 클래스에서 매우 낮은 재현율(0.01)과 정밀도(0.56)를 보였는데, 주로 데이터셋 크기가 작아서 발생한 것이다.
• OSM는 RESIDENT 클래스에서 정밀도 0.81, 재현율 0.16을 기록하여 높은 정밀도를 보였지만 커버리지가 열악하여 주로 주거 지역에 집중되어 있고 기능적 POI를 반영하지 못한다는 점을 반영한다.
• VISITOR 클래스의 경우, OSM는 높은 정밀도 0.89(53개 중 47개 정확하게 식별)를 기록했지만 재현율은 0.09로 낮아, 자신의 레이블은 대부분 정확히 식별했지만 실제 사례의 대부분을 놓쳤음을 시사한다.
• OSM와 POI 소스 간의 일치도는 전반적으로 낮았으며, OSM는 대부분의 1000클래스 패러셀을 개인 주거(1100)로 분류한 반면, POI 소스는 호텔 또는 숙박시설(1300)로 분류하여 근본적인 분류체계 불일치를 드러냈다.
• 어느 데이터 소스도 레벨-1 개략적 수준에서 정밀도와 재현율 모두 0.5 이상을 달성하지 못했으며, 이는 조악한 토지이용 카테고리조차도 신뢰할 수 없음을 시사한다.