[논문 리뷰] Location Reference Recognition from Texts: A Survey and Comparison

Xuke Hu, Zhiyong Zhou외 6명|Zurich Open Repository and Archive (University of Zurich)|2022. 07. 04.

Geographic Information Systems Studies인용 수 6

한 줄 요약

이 논문은 26개 데이터셋에 걸쳐 27개의 위치 참조 인식 방법에 대한 종합적 서베이와 비교 평가를 제시하며, 방법을 규칙 기반, 지도어 매칭, 통계학적 학습, 하이브리드 유형으로 분류한다. 딥러닝 모델이 다른 방법보다 뛰어난 성능을 보이며, 앙상블 투표 시스템은 특히 트윗과 같은 비공식 텍스트에서 강건성을 향상시킨다.

ABSTRACT

A vast amount of location information exists in unstructured texts, such as social media posts, news stories, scientific articles, web pages, travel blogs, and historical archives. Geoparsing refers to the process of recognizing location references from texts and identifying their geospatial representations. While geoparsing can benefit many domains, a summary of the specific applications is still missing. Further, there lacks a comprehensive review and comparison of existing approaches for location reference recognition, which is the first and a core step of geoparsing. To fill these research gaps, this review first summarizes seven typical application domains of geoparsing: geographic information retrieval, disaster management, disease surveillance, traffic management, spatial humanities, tourism management, and crime management. We then review existing approaches for location reference recognition by categorizing these approaches into four groups based on their underlying functional principle: rule-based, gazetteer matching-based, statistical learning-based, and hybrid approaches. Next, we thoroughly evaluate the correctness and computational efficiency of the 27 most widely used approaches for location reference recognition based on 26 public datasets with different types of texts (e.g., social media posts and news stories) containing 39,736 location references across the world. Results from this thorough evaluation can help inform future methodological developments for location reference recognition, and can help guide the selection of proper approaches based on application needs.

연구 동기 및 목표

• 지오퍼싱의 핵심 응용 분야인 재난 관리, 질병 감시, 교통 관리, 공간 인문학 등을 요약하는 것.
• 규칙 기반, 지도어 매칭 기반, 통계학적 학습 기반, 하이브리드 방법으로 나누어 기능적 그룹으로 체계적으로 기존 접근법을 검토하고 분류하는 것.
• 39,736개의 글로벌 위치 참조를 포함한 26개의 공개 데이터셋에서 널리 사용되는 27개의 위치 참조 인식 방법의 정확성과 계산 효율성을 평가하는 것.
• 텍스트 유형(공식 대비 비공식), 필요로 하는 위치 정밀도, 성능 제약 등 응용 분야별 요구사항에 기반한 최적의 방법 선택을 위한 증거 기반 지침을 제공하는 것.

제안 방법

• 저자는 기반 원리에 따라 27개의 기존 위치 참조 인식 방법을 네 가지 기능 그룹으로 분류했다: 규칙 기반, 지도어 매칭 기반, 통계학적 학습 기반, 하이브리드 접근법.
• 다양한 텍스트 유형을 포함한 26개의 공개 데이터셋(예: 트윗, 뉴스 기사, 공식 웹 텍스트 등)에서 각 접근법을 평가했다.
• 평가 지표로는 총 인식 정확도, 공식 대비 비공식 텍스트에서의 성능, 위치 참조 카테고리(예: 도시, POI, 도로 등)별 탐지 능력, 계산 효율성이 포함되었다.
• 다양한 텍스트 유형과 위치 정밀도에서 정밀도와 재현율을 평가하기 위해 비교 프레임워크를 활용하였으며, 결과는 특정 용도에 적합한 방법의 순위 매기기와 추천에 사용되었다.
• 다수의 모델을 융합하기 위해 투표 메커니즘을 사용하여 개별 접근법보다 더 높은 강건성을 확보했다.
• 재현 가능성과 결과의 광범위한 적용 가능성을 확보하기 위해 GeoCorpora, NEEL2016 등 공개된 데이터셋을 분석에 활용했다.

Figure 1. The general workflow of geoparsing and its two steps.

실험 결과

연구 질문

• RQ1 공식 뉴스와 비공식 소셜 미디어 게시물 간 텍스트 유형에 따라 어떤 위치 참조 인식 방법이 가장 잘 작동하는가?
• RQ2 규칙 기반, 지도어 매칭, 통계학적 학습, 하이브리드 접근법의 네 가지 기능 그룹 간 정확도와 계산 효율성에서의 비교는 어떻게 이루어지는가?
• RQ3 국가, 도시, POI, 도로 등 위치 참조의 정밀도가 다양한 방법에서 인식 성능에 어떤 영향을 미치는가?
• RQ4 다양한 접근법을 융합한 앙상블 방법은 개별 모델 대비 인식 성능과 강건성을 향상시키는가?
• RQ5 약어, 슬랭, 철자 실수와 같은 비공식 텍스트 특징을 다루는 데 있어 현재 접근법의 주요 한계는 무엇인가?

주요 결과

• 딥러닝 기반 접근법이 현재까지 위치 참조 인식에 가장 효과적이며, 비공식 텍스트에 대해 미세조정을 적용할 경우 더욱 뛰어난 성능을 보인다.
• 투표 메커니즘을 통해 다수의 접근법을 융합하면 강건성과 총합 성능이 크게 향상되어 개별 모델을 초월한다.
• 성능은 텍스트 유형에 따라 크게 달라지며, 뉴스와 같은 공식 텍스트에서는 높은 성능를 보이지만, 트윗과 같은 비공식 텍스트에서는 정확도가 낮고, POI나 도로와 같은 세밀한 위치 참조 탐지 능력이 떨어진다.
• 계산 효율성은 다양하게 변동하며, 규칙 기반 및 지도어 기반 방법은 딥러닝 모델보다 일반적으로 빠르지만 정확도의 상충 관계가 수반된다.
• 재난 및 교통 관리에서 비공식 텍스트를 실시간으로 처리해야 하는 경우, 짧고 비공식적인 콘텐츠에서 뛰어난 성능을 보이는 GazPNE2가 권장된다.
• 공간 인문학, 질병 감시, 지리정보 검색 등 대량의 공식 텍스트와 굵은 위치 정밀도가 필요한 분야에서는 높은 효율성과 만족스러운 정확도를 보이는 Stanford NER, CogComp, spaCy가 최적의 선택이다.

Figure 2. Seven application domains of geoparsing.