[论文解读] Inferring the location of authors from words in their texts

Max Berggren, Jussi Karlgren+2 more|arXiv (Cornell University)|Dec 20, 2016

Natural Language Processing Techniques参考文献 11被引用 6

一句话总结

本文提出了一种分布语义方法，通过分析作者文本中的词汇使用情况来推断其地理来源，采用高斯混合模型捕捉词汇的多峰位置分布，并利用置信度阈值筛选出具有显著地理位置意义的词汇。该方法显著优于基线模型，通过加权质心或投票策略聚合筛选后的词汇信号，实现了对瑞典语中区域语言差异的有效检测。

ABSTRACT

For the purposes of computational dialectology or other geographically bound text analysis tasks, texts must be annotated with their or their authors' location. Many texts are locatable through explicit labels but most have no explicit annotation of place. This paper describes a series of experiments to determine how positionally annotated microblog posts can be used to learn location-indicating words which then can be used to locate blog texts and their authors. A Gaussian distribution is used to model the locational qualities of words. We introduce the notion of placeness to describe how locational words are. We find that modelling word distributions to account for several locations and thus several Gaussian distributions per word, defining a filter which picks out words with high placeness based on their local distributional context, and aggregating locational information in a centroid for each text gives the most useful results. The results are applied to data in the Swedish language.

研究动机与目标

• 开发一种计算方法，用于在无显式位置元数据的情况下推断作者的地理来源。
• 解决仅依靠语言的词汇和分布线索来定位文本或作者的挑战。
• 通过建模词汇的多峰地理分布并筛选高置信度词汇，改进现有地理定位方法。
• 通过增强的文本标注实现大规模、自动化的瑞典语区域语言差异检测。

提出的方法

• 使用包含三个分量（纬度、经度、置信度）的高斯混合模型，对词汇的地理分布进行建模，以表示多峰位置信号。
• 将‘置信度’定义为词汇在分布上下文中强烈指示特定地理位置的程度，该度量基于其上下文分布。
• 应用分布过滤过程，通过分析地理标签微博客中的共现模式，识别出具有高置信度的词汇。
• 根据文本长度和频率确定阈值，仅保留置信度得分高于该阈值的词汇对文本进行过滤。
• 采用两种策略聚合位置信息：加权质心（基于置信度加权的词汇位置算术平均）和50×50公里网格上的加权多数投票。
• 在地理标签的瑞典语微博客（如Twitter）上训练模型，并将其应用于未标注的博客文本，以推断作者位置。

实验结果

研究问题

• RQ1 能否有效建模具有多峰地理分布的词汇，以提升作者位置推断的准确性？
• RQ2 基于分布上下文的高置信度词汇过滤如何影响地理定位性能？
• RQ3 通过加权质心或多数投票策略聚合位置信号，是否优于直接基于地名词典的分配方法？
• RQ4 在微博客上训练的模型在多大程度上可迁移至不同语体的博客文本中进行位置推断？
• RQ5 该方法能否检测并量化瑞典语方言中术语使用的区域差异？

主要发现

• 采用基于置信度加权的词汇位置平均值的‘过滤质心’模型，在地理定位准确率上优于‘过滤投票’模型和地名词典基线。
• 通过分布上下文和置信度阈值过滤词汇，使所用词汇数量减少约94%（降至原始文本大小的约6%），同时提升性能。
• 该模型成功为38%的未标注博客语料库添加了位置标签，从而提升了区域语言差异的检测能力。
• 该方法实现了支持有效阈值设定的精确率-召回率权衡，最优性能出现在置信度阈值 log T = 20 时。
• 该方法可实现对区域术语使用的细粒度分析，例如图5所示的瑞典语方言中“二等亲”术语的差异。
• 结果与先前研究相当：在160公里范围内定位微博客用户的准确率为10%，在美国州级层面准确率达24%，表明在瑞典语文本中表现优异。