[论文解读] GeoTextTagger: High-Precision Location Tagging of Textual Documents using a Natural Language Processing Approach

Shawn Brunsting, Hans De Sterck+2 more|arXiv (Cornell University)|Jan 22, 2016

Data Management and Algorithms被引用 9

一句话总结

GeoTextTagger 提出了一种高精度的自然语言处理方法，通过结合词性标注、命名实体识别以及基于 OpenStreetMap 数据的距离评分系统，实现对文本文档的地理标记。在维基百科文章上，其第10百分位误差为490米，中位数误差为54公里；当考虑前五个得分时，50% 的文章在8.5公里范围内被正确标记。

ABSTRACT

Location tagging, also known as geotagging or geolocation, is the process of assigning geographical coordinates to input data. In this paper we present an algorithm for location tagging of textual documents. Our approach makes use of previous work in natural language processing by using a state-of-the-art part-of-speech tagger and named entity recognizer to find blocks of text which may refer to locations. A knowledge base (OpenStreatMap) is then used to find a list of possible locations for each block. Finally, one location is chosen for each block by assigning distance-based scores to each location and repeatedly selecting the location and block with the best score. We tested our geolocation algorithm with Wikipedia articles about topics with a well-defined geographical location that are geotagged by the articles' authors, where classification approaches have achieved median errors as low as 11 km, with attainable accuracy limited by the class size. Our approach achieved a 10th percentile error of 490 metres and median error of 54 kilometres on the Wikipedia dataset we used. When considering the five location tags with the greatest scores, 50% of articles were assigned at least one tag within 8.5 kilometres of the article's author-assigned true location. We also tested our approach on Twitter messages that are tagged with the location from which the message was sent. Twitter texts are challenging because they are short and unstructured and often do not contain words referring to the location they were sent from, but we obtain potentially useful results. We explain how we use the Spark framework for data analytics to collect and process our test data. In general, classification-based approaches for location tagging may be reaching their upper accuracy limit, but our precision-focused approach has high accuracy for some texts and shows significant potential for improvement overall.

研究动机与目标

• 开发一种高精度的地理标记系统，为文档中的文本引用分配准确的地理坐标。
• 克服基于分类方法在地理定位中的局限性，这些方法受限于类别数量且准确率提升趋于平缓。
• 通过识别和评分文本中多个潜在的位置引用，实现在每篇文档中进行多标签地理标记。
• 在结构化的维基百科文章和非结构化的推文消息上评估性能，以反映现实世界中的挑战。
• 利用 Apache Spark 实现可扩展的数据处理，并集成地理标记数据集。

提出的方法

• 使用最先进的词性标注器和命名实体识别器，从文本中识别候选位置引用。
• 将 OpenStreetMap 作为知识库，为每个识别出的文本块检索候选位置。
• 基于候选位置与真实位置的距离，为每个候选位置分配基于距离的评分，采用贪心选择策略。
• 通过迭代方式为每个文本块选择得分最高的位置，利用迭代优化提升精度。
• 使用 Apache Spark 处理由维基百科和推文地理标记数据组成的大型数据集，实现高效的数据摄入、连接和预处理。
• 修改 Spark Streaming，专门从目标区域（加拿大、美国、荷兰、澳大利亚）收集地理标记推文，确保训练数据的相关性。

实验结果

研究问题

• RQ1 基于精度的自然语言处理方法是否能在定位准确率方面超越现有的基于分类的地理标记方法？
• RQ2 该系统在每篇文档中标记多个位置时的效率如何，特别是在文本包含多个地理引用时？
• RQ3 该算法在非结构化、短文本形式的文本（如推文）上的表现如何，这类文本通常缺乏明确的位置线索？
• RQ4 与固定类别的分类模型相比，使用动态的距离评分系统在多大程度上提升了准确率？
• RQ5 可扩展的数据处理框架（如 Apache Spark）是否能有效支持大规模异构地理标记数据集的摄入与集成，以支持地理定位研究？

主要发现

• 在仅考虑最高分标签时，GeoTextTagger 在维基百科数据集上实现了第10百分位误差490米，中位数误差54公里。
• 在每篇文档考虑前五个最高分标签时，50% 的维基百科文章至少有一个标签与作者指定的真实位置相距不超过8.5公里。
• 尽管面临短文本、非结构化和易出错等挑战，该系统在推文数据上仍表现出稳健性能，表明其具备实际部署潜力。
• 该算法的性能显著优于以往基于分类的方法，后者在类似维基百科数据上的中位数误差约为11公里，表明向以精度为导向的方法转变的必要性。
• 使用 Apache Spark 使得大规模地理标记数据集的处理更加高效，仅需不到80行 Scala 代码即可完成维基百科文章与其位置标签的连接。
• 本研究使用的数据集与以往工作不同，其数据转储时间更晚（2015年6月 vs. 2010年9月），且最终数据集中未包含重定向文章，可能是由于处理流水线的过滤所致。