[论文解读] A Hierarchical Location Prediction Neural Network for Twitter User Geolocation

Binxuan Huang, Kathleen M. Carley|arXiv (Cornell University)|Oct 28, 2019

Human Mobility and Location-Based Analysis参考文献 38被引用 6

一句话总结

该论文提出了一种分层位置预测神经网络（HLPNN），首先预测用户所在国家，然后利用该结果引导城市级别的地理定位。通过整合字符感知词嵌入、Transformer 编码器和多级注意力机制，HLPNN 在 Twitter 地理定位基准测试中实现了最先进性能，显著降低了平均误差距离，同时在多种特征设置下提升了准确性。

ABSTRACT

Accurate estimation of user location is important for many online services. Previous neural network based methods largely ignore the hierarchical structure among locations. In this paper, we propose a hierarchical location prediction neural network for Twitter user geolocation. Our model first predicts the home country for a user, then uses the country result to guide the city-level prediction. In addition, we employ a character-aware word embedding layer to overcome the noisy information in tweets. With the feature fusion layer, our model can accommodate various feature combinations and achieves state-of-the-art results over three commonly used benchmarks under different feature settings. It not only improves the prediction accuracy but also greatly reduces the mean error distance.

研究动机与目标

• 为解决现有神经网络模型忽略地理位置层级结构（如国家与城市之间关系）的局限性。
• 通过使用字符感知词嵌入来处理未登录词和非正式语言，提升在嘈杂社交媒体文本中的地理定位准确性。
• 通过利用国家层面的监督信号作为引导，降低城市级别预测的平均误差距离。
• 设计一种灵活的模型架构，支持文本、元数据和网络特征的各种组合。

提出的方法

• 该模型采用两阶段分层预测：首先预测用户的所属国家，然后利用该预测结果引导城市级别的地理定位。
• 通过字符感知的 CNN 层处理原始文本，生成能够捕捉词形变化并处理未登录词的鲁棒词表示。
• 使用多头注意力机制的 Transformer 编码器，学习跨文本、元数据和网络特征的交叉相关性。
• 在字段级和词级应用注意力机制，以聚焦于每种输入模态中的关键特征。
• 采用多任务损失函数，并引入可学习权重 α 以平衡国家级别和城市级别的监督信号。
• 通过共享和并行的 Transformer 编码器实现特征融合，使两个预测头解耦的同时保留特征间的依赖关系。

实验结果

研究问题

• RQ1 将地理层级结构（国家 → 城市）融入模型，是否能提升 Twitter 用户地理定位模型的准确性和鲁棒性？
• RQ2 字符感知词嵌入在处理社交媒体文本中的噪声和非正式语言方面，对地理定位任务的有效性如何？
• RQ3 将国家层面的预测作为监督信号，是否能有效降低城市级别预测的平均误差距离？
• RQ4 基于 Transformer 的注意力机制在跨多样化输入模态（文本、元数据、网络）中，对特征表示学习的提升程度如何？
• RQ5 与先前最先进方法相比，该模型在不同输入特征组合（文本、元数据、网络）下的表现如何？

主要发现

• HLPNN 在三个基准数据集（WNUT、GeoNames 和 Twitter-15）上，于多种特征设置下均实现了最先进性能，仅使用文本特征时在 WNUT 数据集上达到最高 37.3% 的准确率。
• 该模型将 WNUT 数据集上的平均误差距离降低至 1,289.4 公里，显著优于先前方法。
• 消融实验表明，字符感知词嵌入对性能贡献最大，相比无此组件的模型，平均误差距离减少超过 140 公里。
• 当 α = 20 时，国家层面的监督使相对国家错误率（将城市误分类至错误国家）从 26.2% 降低至 23.1%，表明地理一致性得到改善。
• 字段级注意力仅带来微小增益，因为 Transformer 编码器已能有效捕捉特征间的依赖关系。
• 该模型在所有特征组合下（包括仅文本、文本+元数据、文本+网络、完整特征设置）均保持强大性能，证明了其灵活性与鲁棒性。