[论文解读] Discriminating between similar languages in Twitter using label propagation

Will Radford, Matthias Gallé|arXiv (Cornell University)|Jul 19, 2016

Authorship Attribution and Profiling参考文献 8被引用 4

一句话总结

本文提出了一种混合标签传播方法，结合基于内容的语言识别与社交网络分析，以提升在 Twitter 上对相似语言的区分能力。通过将推文作者建模为图中的节点，并通过社交关系传播语言标签，该方法在 tweetLID 共享任务中取得了 76.63% 的 F1 分数，优于先前最先进方法 1.4 个百分点，尤其在西班牙语-加泰罗尼亚语和葡萄牙语-加利西亚语等相似语言对上表现突出。

ABSTRACT

Identifying the language of social media messages is an important first step in linguistic processing. Existing models for Twitter focus on content analysis, which is successful for dissimilar language pairs. We propose a label propagation approach that takes the social graph of tweet authors into account as well as content to better tease apart similar languages. This results in state-of-the-art shared task performance of $76.63\%$, $1.4\%$ higher than the top system.

研究动机与目标

• 为解决在 Twitter 等嘈杂、非正式的社交媒体文本中区分相似语言的挑战。
• 通过引入超越内容特征的社交网络上下文，提升语言识别性能。
• 探究作者社交网络是否能增强对语言上相近语言的区分能力。
• 在 tweetLID 共享任务中实现最先进性能，尤其针对模糊或低资源语言对。

提出的方法

• 该方法结合使用基于字符 2-至 5-gram 的内容模型与逻辑回归分类器，以及基于异质图上标签传播的社交模型。
• 图中包含三种节点类型：推文（T）、用户（U）和“世界”节点（W），边的权重基于推文相似度、作者-推文关联、关注关系以及与世界节点的连接。
• 使用改进吸附（mad）算法执行标签传播，通过社交图迭代地将语言标签从已标注推文传播至未标注推文。
• 通过 k-最近邻（k=0.25×推文数量）近似计算推文-推文相似度，将 O(n²) 复杂度降低至 O(n log n)。
• 最终预测通过等权重（λ₁ = λ₂ = 0.5）的加权和结合内容得分与社交得分，生成语言的概率分布。
• 在收敛并归一化后，为未标注节点分配语言分布，模糊推文初始化为均匀分布。

实验结果

研究问题

• RQ1 当仅依靠内容特征不足以区分时，社交网络结构是否能提升 Twitter 上对相似语言的语言识别性能？
• RQ2 在异质社交图上进行标签传播在区分西班牙语与加泰罗尼亚语等相似语言方面有多有效？
• RQ3 在加利西亚语与葡萄牙语等低资源或语言相近语言上，引入作者层面的社交上下文是否能提升性能？
• RQ4 社交模型在多大程度上减少了对模糊或罕见语言推文的误分类？

主要发现

• 所提方法在 tweetLID 共享任务中实现了 76.63% 的宏平均 F1 分数，优于先前最佳系统 1.4 个百分点。
• 对于西班牙语-加泰罗尼亚语和葡萄牙语-加利西亚语等相似语言对，社交模型相比仅使用内容的模型，F1 分数提升了 3.5–4.5 个百分点。
• 模糊（amb）和未决（und）推文的 F1 分数分别从 94.49% 提升至 92.21%，以及从 18.85% 提升至 34.95%，表明在处理困难样本方面取得显著提升。
• 仅内容模型在英语和巴斯克语等明显不同的语言上表现最佳，但在相似语言对上表现不佳，凸显社交上下文的价值。
• 社交模型显著提升了对低资源语言（如加利西亚语：F1 从 54.85% 提升至 56.80%；巴斯克语：F1 从 83.58% 降至 79.06%）的性能，显示出对各类语言的鲁棒性。
• 该系统的一个副产品——用户层面的语言分布——可能支持下游任务，如用户画像构建或多语言内容过滤。