[论文解读] Exploring Twitter Hashtags

Jan Pöschko|arXiv (Cornell University)|Nov 28, 2011

Advanced Text Analysis Techniques参考文献 4被引用 11

一句话总结

本文提出一种机器学习方法，利用共现模式、词性标注和地理知识，将 Twitter 标签分类为五个直观类别——组织、地理位置、人物、事件和类别。主要贡献是开发了一个交互式网络应用 TwitterExplorer，用户可通过该应用探索标签共现词典和分类器输出结果。类别分类的五折交叉验证 F1 分数为 0.55，人物分类的 F1 分数为 0.38。

ABSTRACT

Twitter messages often contain so-called hashtags to denote keywords related to them. Using a dataset of 29 million messages, I explore relations among these hashtags with respect to co-occurrences. Furthermore, I present an attempt to classify hashtags into five intuitive classes, using a machine-learning approach. The overall outcome is an interactive Web application to explore Twitter hashtags.

研究动机与目标

• 为解决 Twitter 标签语义模糊的问题（例如 #tcot、#p2 等标签缺乏明确语义），通过共现模式构建语义词典。
• 使用监督式机器学习将标签分类为五个直观的语义类别——组织、地理位置、人物、事件和类别。
• 开发一个交互式网络应用，可视化标签共现网络和分类器结果，供公众探索。
• 评估特征工程（包括词性标注和地理名称识别）在提升分类性能方面的有效性。
• 探索未来利用社交图谱数据和时间模式改进标签理解与分类的可行性。

提出的方法

• 通过计算标签对在共享推文中的数量，构建共现词典，并将每个标签的前 10 个共现标签存储在 SQLite 数据库中。
• 使用最大熵（MaxEnt）分类器，特征包括词性标签、地理名称识别（来自 Geonames）以及上下文词特征。
• 采用五折交叉验证，每类标签使用 100 条随机采样的推文进行训练与评估，以降低计算负载。
• 使用 Django 开发网络应用，通过 AJAX 实现分类详情的动态加载，并使用 Prototype 和 RGraph 实现交互式用户界面元素。
• 通过层次聚类生成标签共现的聚类图，以可视化语义邻域。
• 使用自定义正则表达式对推文进行预处理，以在分词过程中保留标签、@回复、URL 和表情符号。

实验结果

研究问题

• RQ1 标签共现模式能否构成一个可靠的语义词典，从而推荐有意义的相关标签？
• RQ2 机器学习分类器在区分五种类别标签（组织、地理位置、人物、事件和类别）方面的有效性如何？
• RQ3 词性标注和地理名称识别在多大程度上提升了分类准确率？
• RQ4 共现数据与语言学特征的结合能否实现在真实世界 Twitter 数据中有效且可扩展的标签分类？
• RQ5 如何设计交互式网络界面，以支持对标签语义和共现网络的探索？

主要发现

• 共现词典成功检索到语义相关的标签，对于常见标签如 #obama 和 #apple，其精确度较高，显示出如 #tcot 和 #gop 等合理相关标签。
• MaxEnt 分类器在类别分类上的 F1 分数为 0.55，在人物分类上的 F1 分数为 0.38，在地理位置分类上的 F1 分数为 0.59，表明性能中等，仍有提升空间。
• 事件分类表现较差，F1 分数仅为 0.08，表明当前特征不足以有效识别事件相关标签。
• 地理名称特征显著提升了地理位置分类效果，在混淆矩阵中 39 个地理位置标签中有 23 个被正确分类。
• 网络应用 TwitterExplorer 成功可视化了标签共现词典和分类器输出，支持用户对标签及其上下文进行交互式探索。
• 分类器性能受限于较小的训练集（每类标签仅 100 条推文）以及事件检测的特征工程不足，后者可能需要引入时间或社交网络特征。