[논문 리뷰] Mordecai 3: A Neural Geoparser and Event Geocoder

Andrew Halterman|arXiv (Cornell University)|2023. 03. 23.

Geographic Information Systems Studies인용 수 5

한 줄 요약

Mordecai 3는 장소 이름을 Geonames 항목으로 해석하는 데 Transformer 기반 신경 순위 모델을 사용하고, 사건의 위치를 식별하기 위해 시장에서 이용 가능한 질문-답변 모델을 활용하는 신경 지오파서이자 사건 지오코딩 시스템이다. 기준 데이터셋에서 국가 수준 정확도 94.2%와 정확한 일치 정확도 82.8%를 기록하며 이전 시스템을 능가하는 성능을 보이며, 정확한 위치가 누락된 경우 잘못된 지오로케이션을 피하기 위한 기능도 제공한다.

ABSTRACT

Mordecai3 is a new end-to-end text geoparser and event geolocation system. The system performs toponym resolution using a new neural ranking model to resolve a place name extracted from a document to its entry in the Geonames gazetteer. It also performs event geocoding, the process of linking events reported in text with the place names where they are reported to occur, using an off-the-shelf question-answering model. The toponym resolution model is trained on a diverse set of existing training data, along with several thousand newly annotated examples. The paper describes the model, its training process, and performance comparisons with existing geoparsers. The system is available as an open source Python library, Mordecai 3, and replaces an earlier geoparser, Mordecai v2, one of the most widely used text geoparsers (Halterman 2017).

연구 동기 및 목표

• 텍스트 내 모호한 장소 이름을 정확하게 해석할 수 있는 강력하고 종단 간 지오파싱 시스템을 개발하는 것.
• 맥락적 추론을 통해 보고된 사건을 올바른 지리적 위치와 연결함으로써 사건 지오코딩의 과제를 해결하는 것.
• 다양하고 새로 추가된 데이터 및 기존 데이터셋에 기반한 신경 유사도 모델을 훈련시켜 지오파싱 성능을 향상시키는 것.
• 모델이 후보 결과에서 정확한 위치가 누락된 경우 이를 감지할 수 있도록 하여 실제 환경에서의 강인성을 높이는 것.
• 사회과학 연구 분야에서 널리 활용될 수 있도록 Mordecai v2를 대체하는 오픈소스이자 프로덕션 준비된 파이썬 라이브러리 제공

제안 방법

• 텍스트 문서에서 장소명을 추출하기 위해 spaCy의 Transformer 기반 NER를 사용한다.
• 기본 및 보조 장소 이름에 대한 퍼지 매칭을 통해 커스터마이징된 Elasticsearch 색인 기반 Geonames 가이드북을 쿼리한다.
• 맥락 임베딩과 문자열 유사도를 포함한 다중 유사도 특징을 계산하는 신경 순위 모델을 활용해 최적의 후보 위치를 선택한다.
• 보고된 사건이 발생한 위치를 식별하기 위해 시장에서 이용 가능한 질문-답변 모델을 활용한다.
• 기존 데이터셋(예: GeoWebNews, TR News, LGL)과 2,615개의 새로 추가된 예시(합성 및 위키백과 기반 데이터 포함)를 조합하여 신경 모델을 훈련시킨다.
• 인구, 행정 계층, 보조 이름 길이 등의 특징을 통합하여 장소의 해석을 보다 정확히 하는 데 기여한다.

실험 결과

연구 질문

• RQ1 다양하고 고수준의 데이터에 기반한 신경 순위 모델이 기존 히وري스틱 기반 방법을 뛰어넘어 장소명 해석 정확도를 향상시킬 수 있는가?
• RQ2 여러 장소 이름이 존재하는 텍스트에서 사전 훈련된 질문-답변 모델을 어떻게 조정하여 사건 발생 위치를 식별할 수 있는가?
• RQ3 후보 결과에서 정확한 위치가 누락된 경우 모델이 이를 얼마나 잘 감지할 수 있는가? 이는 잘못된 지오로케이션 오류를 줄이는 데 기여하는가?
• RQ4 맥락 임베딩과 가이드북 메타데이터를 결합하면 모호하거나 빈도가 낮은 장소 이름에 대해 성능 향상에 기여하는가?
• RQ5 지역 뉴스 및 합성 템플릿을 포함한 다양한 텍스트 유형에서 시스템의 성능은 어떠한가?

주요 결과

• Mordecai 3는 여러 데이터셋에서 국가 수준 정확도 94.2%와 정확한 일치 정확도 82.8%를 기록하며, 핵심 지표에서 이전 지오파서를 능가하는 성능을 보였다.
• GWN 코퍼스에서 평균 오차는 184km이며, 161km 이내 정확도는 94%로, 최고 성능을 보이는 시스템 중 하나로 평가된다.
• 훈련 데이터에서 정답이 없는 경우를 올바르게 식별하는 데 70.3%의 정확도를 기록했고, 새로 수집한 데이터에선 최대 100%의 정확도를 달성했다.
• 합성 데이터에서는 정확한 기각 비율이 97.4%로 가장 높았고, LGL 코퍼스에서는 40.0%로 가장 낮았는데, 이는 모호한 이름을 포함한 미국 현지 뉴스에서의 과제를 반영한다.
• 모든 데이터셋에서 중앙 오차가 0km를 유지하여 대부분의 예측이 정확함을 나타내지만, 일부 고영향도 오류(매우 큰 거리 오차)는 여전히 발생한다.
• TR 및 GWN 데이터셋에서 높은 성능을 보였으며, 정확한 일치 정확도는 각각 82.8%와 91.2%였고, GWN에서의 국가 수준 정확도는 95.8%에 달했다.