[论文解读] Density Estimation for Geolocation via Convolutional Mixture Density Network

Hayate Iso, Shoko Wakamiya+1 more|arXiv (Cornell University)|May 8, 2017

Human Mobility and Location-Based Analysis参考文献 22被引用 14

一句话总结

该论文提出了一种卷积混合密度网络（CMDN），仅使用推文文本即可将地理位置估计为概率密度分布，从而实现具有不确定性的、多模态的位置预测。与基于回归的方法相比，CMDN在准确性上表现更优，并提供似然分数以过滤不可靠的预测，实现了坐标级地理定位的最先进性能。

ABSTRACT

Nowadays, geographic information related to Twitter is crucially important for fine-grained applications. However, the amount of geographic information avail- able on Twitter is low, which makes the pursuit of many applications challenging. Under such circumstances, estimating the location of a tweet is an important goal of the study. Unlike most previous studies that estimate the pre-defined district as the classification task, this study employs a probability distribution to represent richer information of the tweet, not only the location but also its ambiguity. To realize this modeling, we propose the convolutional mixture density network (CMDN), which uses text data to estimate the mixture model parameters. Experimentally obtained results reveal that CMDN achieved the highest prediction performance among the method for predicting the exact coordinates. It also provides a quantitative representation of the location ambiguity for each tweet that properly works for extracting the reliable location estimations.

研究动机与目标

• 为解决地理标签推文数量稀少的问题，仅通过文本实现准确且具有不确定性的地理定位。
• 对推文中的位置模糊性和多个可能的位置进行建模，这是基于回归的方法无法捕捉的。
• 通过似然分数提供可靠的估计置信度度量，用于过滤不确定的预测。
• 开发一个端到端的深度学习模型，联合学习文本特征和混合密度参数以实现地理定位。

提出的方法

• CMDN 使用卷积神经网络（CNN）从推文文本序列中提取上下文特征。
• CNN 的输出用于参数化一个混合密度模型（MDN），以估计位置分布的混合权重、均值和协方差。
• 模型通过负对数似然损失进行端到端训练，以优化完整的密度估计目标。
• 混合成分代表多个可能的地理位置，使模型能够处理模糊性和多模态预测。
• 预测通过选择估计混合分布的众数进行，而似然分数则表示估计的置信度。
• 采用基于似然的阈值策略过滤低置信度的预测，从而提高整体可靠性。

实验结果

研究问题

• RQ1 深度学习模型能否将推文地理定位估计为完整的概率密度分布而非单一坐标点，从而提高对模糊性的鲁棒性？
• RQ2 与基于回归的方法相比，使用混合模型进行密度估计在推文地理定位的准确性与不确定性量化方面表现如何？
• RQ3 密度模型生成的似然分数能否有效识别并过滤不可靠的地理定位预测？
• RQ4 基于CNN的MDN进行端到端训练，是否在仅使用文本输入的情况下优于传统的回归或高斯混合建模方法？

主要发现

• 在精确坐标预测方面，CMDN 的预测性能在所有方法中最高，优于 ℓ₂ 和 ℓ₁ 回归基线模型。
• CMDN 的预测位置与真实位置之间的中位距离显著低于 CNN-l1 和 CNN-l2 模型。
• CMDN 的似然分数是估计确定性的可靠指标，似然值越高，预测误差越低。
• 基于似然的过滤策略有效去除了异常预测，显著降低了剩余高置信度集合中的平均距离和中位距离。
• 该模型通过为多个可能的位置分配非零概率，表现出对模糊或具有多模态特征的推文的优越处理能力。
• CMDN 采用由负对数似然损失引导的激进预测策略，在中位性能上优于 ℓ₁ 回归方法，尽管平均误差略高。