[论文解读] Clickbait Identification using Neural Networks

Philippe Thomas|arXiv (Cornell University)|Oct 24, 2017

Misinformation and Its Impacts参考文献 16被引用 14

一句话总结

本文提出了一种基于神经网络的点击诱饵检测系统，通过融合多种数据源——文本内容、发布时间和元数据——实现检测，且无需语言学预处理。最终模型在2017年点击诱饵检测挑战赛中实现了0.0428的均方误差，排名第六。

ABSTRACT

This paper presents the results of our participation in the Clickbait Detection Challenge 2017. The system relies on a fusion of neural networks, incorporating different types of available informations. It does not require any linguistic preprocessing, and hence generalizes more easily to new domains and languages. The final combined model achieves a mean squared error of 0.0428, an accuracy of 0.826, and a F1 score of 0.564. According to the official evaluation metric the system ranked 6th of the 13 participating teams.

研究动机与目标

• 解决社交媒体内容中点击诱饵标题的检测挑战。
• 开发一种不依赖领域特定语言学预处理的稳健且可泛化的模型。
• 融合多种数据源（文本、时间、元数据）以提升预测性能。
• 在基于回归的点击诱饵检测任务中实现高性能，使用人工标注分数作为评估标准。

提出的方法

• 对文本数据（帖子正文、目标标题、段落、描述）使用词嵌入，采用随机初始化的100维向量。
• 通过批归一化和dropout正则化，将文本输入双向长短期记忆网络（LSTM）进行处理。
• 通过将帖子发布时间划分为小时范围并转换为独热编码，再通过学习的嵌入层进行编码。
• 通过连接各神经网络的全连接输出层，实现对单个神经网络的融合，随后通过最终的全连接层输出。
• 使用RMSProp进行模型训练，配合早停法和自适应学习率，未进行系统性的超参数调优。
• 探索通过小型卷积神经网络（CNN）整合图像特征，并辅以数据增强，但性能较差；未来工作计划使用ImageNet预训练模型进行迁移学习。

实验结果

研究问题

• RQ1 仅使用原始文本和元数据，不依赖语言学预处理，神经网络模型能否有效检测点击诱饵标题？
• RQ2 与单一数据源相比，融合多种输入源（文本、时间、元数据）在多大程度上提升了点击诱饵检测性能？
• RQ3 图像特征在多大程度上能促进点击诱饵检测？针对有限图像数据，哪些训练策略更有效？
• RQ4 由于未使用语言学预处理，该模型在不同领域和语言间的泛化能力如何？

主要发现

• 仅使用帖子正文即实现了最佳均方误差（MSE）0.055，表明其为最具信息量的特征来源。
• 融合多个神经网络使MSE相比最佳单个模型降低了18%，从0.055降至0.045（内部评估集）。
• 最终融合模型在测试集上实现了0.0428的MSE，准确率为0.826，F₁分数为0.564。
• 该模型在官方2017年点击诱饵检测挑战赛中位列13支队伍中的第6名，证实了其强大的泛化能力和鲁棒性。
• 初步尝试使用小型CNN处理图像特征仅得到随机性能，表明必须依赖ImageNet预训练模型进行迁移学习，才能有效提取图像特征。
• 该模型在官方测试集上的表现（MSE 0.0428）与内部评估性能（MSE 0.045）高度一致，表明不存在显著的数据泄露或过拟合现象。