[论文解读] Mordecai 3: A Neural Geoparser and Event Geocoder

Andrew Halterman|arXiv (Cornell University)|Mar 23, 2023

Geographic Information Systems Studies被引用 5

一句话总结

Mordecai 3 是一种基于变压器的神经地理解析器与事件地理编码器，利用基于变压器的神经排序模型将地名解析为 Geonames 条目，并使用现成的问答模型识别事件发生地点。其在基准数据集上实现了 94.2% 的国家层级准确率和 82.8% 的精确匹配准确率，优于以往系统的关键指标，同时在正确位置缺失时支持拒绝错误定位。

ABSTRACT

Mordecai3 is a new end-to-end text geoparser and event geolocation system. The system performs toponym resolution using a new neural ranking model to resolve a place name extracted from a document to its entry in the Geonames gazetteer. It also performs event geocoding, the process of linking events reported in text with the place names where they are reported to occur, using an off-the-shelf question-answering model. The toponym resolution model is trained on a diverse set of existing training data, along with several thousand newly annotated examples. The paper describes the model, its training process, and performance comparisons with existing geoparsers. The system is available as an open source Python library, Mordecai 3, and replaces an earlier geoparser, Mordecai v2, one of the most widely used text geoparsers (Halterman 2017).

研究动机与目标

• 开发一个稳健的端到端地理解析系统，以提高文本中模糊地名解析的准确性。
• 通过上下文推理将报道的事件与正确地理位置关联，解决事件地理编码的挑战。
• 通过在多样化、新标注的数据及现有数据集上训练的神经相似度模型，提升地理解析性能。
• 通过使模型能够检测候选结果中缺少正确位置的情况，增强在真实场景中的鲁棒性。
• 提供一个开源、可投入生产的 Python 库，替代 Mordecai v2，以促进社会科学领域的广泛应用。

提出的方法

• 使用 spaCy 的基于变压器的命名实体识别（NER）从文本文档中提取地名。
• 利用对主名和备选地名进行模糊匹配的自定义 Elasticsearch 索引 Geonames 地名手册进行查询。
• 采用神经排序模型，计算多种相似度特征，包括上下文嵌入和字符串相似度，以选择最佳候选位置。
• 利用现成的问答模型识别文档中事件发生的位置。
• 在现有数据集（如 GeoWebNews、TR News、LGL）与 2,615 个新标注示例的组合上训练神经模型，其中包含合成数据与维基百科衍生数据。
• 整合人口、行政层级和备选名称长度等特征，以改善歧义消解。

实验结果

研究问题

• RQ1 在多样化、高质量数据上训练的神经排序模型，是否能超越传统启发式方法，提升地名解析的准确性？
• RQ2 当文本中存在多个地名时，预训练的问答模型在识别事件位置方面的适应能力如何？
• RQ3 模型在候选结果中缺少正确位置时，检测能力有多强，能否有效减少错误地理定位？
• RQ4 将上下文嵌入与地名手册元数据结合，是否能提升对模糊或低频地名的性能？
• RQ5 该系统在多种文本类型（包括地方新闻与合成模板）中的表现如何？

主要发现

• Mordecai 3 在多个数据集上实现了 94.2% 的国家层级准确率和 82.8% 的精确匹配准确率，优于以往地理解析器的关键指标。
• 在 GWN 语料库上，其平均误差为 184 公里，161 公里范围内的准确率为 94%，位居顶尖系统之列。
• 在训练数据上，模型对无法回答的情况（即缺少正确位置）的识别准确率达 70.3%，在新收集的数据上最高可达 100%。
• 在合成数据上的表现最强（正确拒绝率为 97.4%），在 LGL 语料库上最弱（正确拒绝率为 40.0%），反映出在地方美国新闻中因地名模糊性带来的挑战。
• 系统在所有数据集上的中位误差为 0 公里，表明尽管大多数预测正确，但仍存在少数高影响的错误（极大距离误差）。
• 模型在 TR 和 GWN 数据集上表现优异，精确匹配准确率分别为 82.8% 和 91.2%，国家层级准确率也极高（GWN 上达 95.8%）。