[论文解读] Are We There Yet? Evaluating State-of-the-Art Neural Network based Geoparsers Using EUPEG as a Benchmarking Platform

Jimin Wang, Yingjie Hu|arXiv (Cornell University)|Jul 15, 2020

Topic Modeling参考文献 20被引用 4

一句话总结

本文使用 EUPEG 基准测试平台评估了三种最先进的基于神经网络的地理解析器——DM_NLP、UniMelb 和 UArizona，该平台包含八个跨多种文本类型的多样化数据集。结果显示在多个数据集上性能显著提升，表明针对著名且格式规范的地名的地理解析问题在很大程度上已得到解决，但非正式文本和模糊地名方面仍存在挑战。

ABSTRACT

Geoparsing is an important task in geographic information retrieval. A geoparsing system, known as a geoparser, takes some texts as the input and outputs the recognized place mentions and their location coordinates. In June 2019, a geoparsing competition, Toponym Resolution in Scientific Papers, was held as one of the SemEval 2019 tasks. The winning teams developed neural network based geoparsers that achieved outstanding performances (over 90% precision, recall, and F1 score for toponym recognition). This exciting result brings the question "are we there yet?", namely have we achieved high enough performances to possibly consider the problem of geoparsing as solved? One limitation of this competition is that the developed geoparsers were tested on only one dataset which has 45 research articles collected from the particular domain of Bio-medicine. It is known that the same geoparser can have very different performances on different datasets. Thus, this work performs a systematic evaluation of these state-of-the-art geoparsers using our recently developed benchmarking platform EUPEG that has eight annotated datasets, nine baseline geoparsers, and eight performance metrics. The evaluation result suggests that these new geoparsers indeed improve the performances of geoparsing on multiple datasets although some challenges remain.

研究动机与目标

• 评估最先进的神经网络地理解析器是否已达到足够高的性能水平，可认为在格式规范的文本中地理解析问题已‘解决’。
• 解决以往评估仅在一个数据集（生物医学）上测试地理解析器的局限性，通过使用多数据集基准测试平台。
• 系统性地比较顶级地理解析器在包括新闻、维基百科、社交媒体和网页在内的多种文本类型中的表现。
• 识别尽管神经网络模型取得进展，地理解析中仍持续存在的挑战，如处理模糊地名、拼写错误和细粒度位置。
• 通过开源已评估的地理解析器及 EUPEG 基准测试平台（含数据集和指标）来支持未来研究。

提出的方法

• 使用 EUPEG 平台，这是一个可扩展且统一的基准测试系统，包含八个标注数据集，覆盖四种文本类型：新闻、维基百科、社交媒体和网页。
• 根据其已发表的方法重新实现排名前三的端到端地理解析器（DM_NLP、UniMelb、UArizona），以确保评估的一致性。
• 采用八项性能指标评估地理解析器，包括地名识别和解析的精确率、召回率和 F1 分数。
• 在缺乏训练模型的情况下，采用简单的“人口数量启发式方法”进行地名解析，以实现系统间的公平比较。
• 将三个顶级地理解析器在所有数据集上的表现与九个基线地理解析器进行对比，以评估相对性能提升。
• 在 GitHub 上公开三个已评估地理解析器及 EUPEG 平台的源代码，以促进可复现性和未来研究。

实验结果

研究问题

• RQ1 最先进的神经网络地理解析器是否能在生物医学领域之外的多种文本类型中实现一致的高性能？
• RQ2 SemEval 2019 竞赛中报告的高性能分数在多大程度上可推广到其他数据集和文本类型？
• RQ3 尽管神经网络模型取得进展，地理解析中仍存在的持久性挑战是什么？
• RQ4 顶级地理解析器在包含非正式语言、拼写错误和模糊地名的数据集上的表现如何？
• RQ5 EUPEG 平台能否作为可靠且可扩展的基准，用于在不同语料库和指标间评估和比较地理解析器？

主要发现

• 三个顶级地理解析器——DM_NLP、UniMelb 和 UArizona——在多个数据集上对格式规范、突出的地名提及实现了高 F1 分数（>90%），表明其在正式文本中具有强大的泛化能力。
• 在非正式文本类型（如社交媒体）中性能显著下降，因地名模糊性、拼写错误和上下文有限导致准确率降低。
• 地理解析器对名称变体和大小写变化表现出鲁棒性，但对标准地名录未涵盖的细粒度位置（如街道或公园）处理困难。
• 使用简单的“人口数量启发式方法”进行地名解析取得了令人满意的结果，表明基于人口的消歧方法仍有效，但不足以应对所有情况。
• 评估结果表明，基于某一领域（如生物医学）训练的地理解析器在其他领域泛化能力较差，凸显了领域自适应或多领域训练的必要性。
• EUPEG 平台成功实现了对多样化数据集的系统化、可复现的评估，证明其作为未来地理解析研究基准测试基础设施的价值。