[论文解读] Fishing for Clickbaits in Social Images and Texts with Linguistically-Infused Neural Network Models

Maria Glenski, Ellyn Ayton+2 more|arXiv (Cornell University)|Oct 17, 2017

Misinformation and Its Impacts参考文献 18被引用 20

一句话总结

本文提出了一种融合语言学特征的神经网络模型，通过推文文本、关联文章内容以及偏见语言的语义标记，预测社交媒体帖子的点击诱饵程度。最佳模型在Clickbait Challenge 2017测试集上实现了0.04的均方误差（MSE）和0.43的R²，优于其他网络架构和特征组合，尽管图像特征并未显著提升性能。

ABSTRACT

This paper presents the results and conclusions of our participation in the Clickbait Challenge 2017 on automatic clickbait detection in social media. We first describe linguistically-infused neural network models and identify informative representations to predict the level of clickbaiting present in Twitter posts. Our models allow to answer the question not only whether a post is a clickbait or not, but to what extent it is a clickbait post e.g., not at all, slightly, considerably, or heavily clickbaity using a score ranging from 0 to 1. We evaluate the predictive power of models trained on varied text and image representations extracted from tweets. Our best performing model that relies on the tweet text and linguistic markers of biased language extracted from the tweet and the corresponding page yields mean squared error (MSE) of 0.04, mean absolute error (MAE) of 0.16 and R2 of 0.43 on the held-out test data. For the binary classification setup (clickbait vs. non-clickbait), our model achieved F1 score of 0.69. We have not found that image representations combined with text yield significant performance improvement yet. Nevertheless, this work is the first to present preliminary analysis of objects extracted using Google Tensorflow object detection API from images in clickbait vs. non-clickbait Twitter posts. Finally, we outline several steps to improve model performance as a part of the future work.

研究动机与目标

• 开发一个回归模型，对社交媒体帖子的点击诱饵程度在0–1尺度上进行预测，而非二元分类。
• 探究将偏见语言的语义线索整合是否能超越标准文本表示，提升点击诱饵检测性能。
• 评估通过TensorFlow Object Detection API提取的图像特征对点击诱饵预测性能的贡献。
• 比较不同神经网络架构（CNN、LSTM）及输入组合（推文文本、文章文本、语言学标记）以实现最优预测性能。
• 识别视觉内容（图像中的物体）与不同点击诱饵强度水平之间的关联模式。

提出的方法

• 利用双向LSTM和CNN架构，从推文文本和关联文章内容中学习表征。
• 使用自然语言处理资源，从推文和文章文本中提取偏见语言的语义标记（例如，不确定性、夸张）。
• 将文本表征与语言学线索结合，形成联合输入向量用于回归建模。
• 使用TensorFlow Object Detection API从点击诱饵和非点击诱饵帖子的图像中提取物体标签。
• 在两个标注数据集（2k和20k条帖子）上训练模型，并在保留的2k测试集上使用MSE、MAE和R²进行评估。
• 应用了处理类别不平衡的技术，尽管未做深入处理，并探讨了未来使用视觉-语义嵌入和文本相似性度量的可能性。

实验结果

研究问题

• RQ1 基于文本和语言学线索训练的神经网络模型，是否能比传统手工设计特征更准确地预测社交媒体帖子的点击诱饵程度？
• RQ2 偏见语言的语义标记（例如，模糊表达、夸张）是否显著提升点击诱饵检测性能？
• RQ3 从推文图像中提取的视觉特征在多大程度上有助于提升点击诱饵预测性能？
• RQ4 不同神经网络架构（LSTM与CNN）在预测连续点击诱饵分数时表现如何？
• RQ5 高分和低分点击诱饵帖子中的图像在物体构成（例如，食物、车辆）上是否存在可检测的差异？

主要发现

• 表现最佳的模型基于LSTM架构，结合推文文本以及来自推文和文章的语义线索，在测试集上实现了0.04的均方误差（MSE）。
• 同一模型的R²得分为0.43，表明其对连续点击诱饵强度具有中等预测能力。
• 在二元分类任务（点击诱饵 vs. 非点击诱饵）中，模型的F1得分为0.69，展现出良好的判别能力。
• 尽管使用TensorFlow Object Detection API提取图像特征，但其并未显著提升相比纯文本模型的性能。
• 点击诱饵图像中食物、电器和餐具类物体的比例更高，而非点击诱饵图像则包含更多车辆和体育相关物体，且随着点击诱饵得分上升，食物和电子产品类物体的比例也呈上升趋势。
• 研究发现，物体分布随点击诱饵强度显著变化，表明视觉线索可能对未来的模型具有信息价值。