[论文解读] Identifying Clickbait: A Multi-Strategy Approach Using Neural Networks

Vaibhav Kumar, Dhruv Khattar+3 more|arXiv (Cornell University)|Oct 4, 2017

Misinformation and Its Impacts参考文献 17被引用 19

一句话总结

本文提出了一种多策略神经网络模型用于点击诱饵检测，该模型结合双向LSTM与注意力机制处理文本，使用孪生网络计算文本相似度，以及使用视觉孪生网络实现图像与文本的对齐。该模型在包含19,538个样本的社交媒体数据集上取得了65.37%的F1分数，通过端到端学习融合文本与视觉特征，优于先前的最先进方法。

ABSTRACT

Online media outlets, in a bid to expand their reach and subsequently increase revenue through ad monetisation, have begun adopting clickbait techniques to lure readers to click on articles. The article fails to fulfill the promise made by the headline. Traditional methods for clickbait detection have relied heavily on feature engineering which, in turn, is dependent on the dataset it is built for. The application of neural networks for this task has only been explored partially. We propose a novel approach considering all information found in a social media post. We train a bidirectional LSTM with an attention mechanism to learn the extent to which a word contributes to the post's clickbait score in a differential manner. We also employ a Siamese net to capture the similarity between source and target information. Information gleaned from images has not been considered in previous approaches. We learn image embeddings from large amounts of data using Convolutional Neural Networks to add another layer of complexity to our model. Finally, we concatenate the outputs from the three separate components, serving it as input to a fully connected layer. We conduct experiments over a test corpus of 19538 social media posts, attaining an F1 score of 65.37% on the dataset bettering the previous state-of-the-art, as well as other proposed approaches, feature engineering or otherwise.

研究动机与目标

• 为应对在线媒体中点击诱饵日益严重的问题，此类内容通过标题过度承诺内容来误导用户。
• 通过利用深度学习与多模态数据，超越传统特征工程，提升点击诱饵检测性能。
• 将文本、视觉与语义相似度特征整合到统一的检测框架中。
• 在大规模社交媒体数据集上，超越现有最先进模型的F1分数与准确率。
• 探索注意力机制与孪生网络在捕捉细微点击诱饵信号方面的有效性。

提出的方法

• 双向LSTM结合注意力机制，处理文章标题的词嵌入与字符级嵌入，以学习不同词语对点击诱饵评分的差异化贡献。
• 孪生神经网络利用Doc2Vec嵌入，计算文章标题与目标描述之间的语义相似度。
• 视觉孪生网络衡量图像嵌入（来自VGG-19）与目标描述的Doc2Vec表示之间的相似度。
• 图像嵌入通过预训练的VGG-19模型提取，并投影至300维以与文本嵌入兼容。
• 将三个模块的输出——文本、文本相似度与视觉相似度——拼接后输入全连接层，完成最终的点击诱饵分类。
• 模型使用二元交叉熵损失函数，采用Adam优化器与批量大小为256进行训练，超参数在4:1的训练-验证划分上进行调优。

实验结果

研究问题

• RQ1 结合文本、图像与语义相似度的多模态深度学习方法，是否能在点击诱饵检测中超越传统特征工程？
• RQ2 注意力机制在捕捉对点击诱饵评分有显著贡献的关键词语方面，效果如何？
• RQ3 通过建模标题与内容或图像之间的相似度，孪生网络在多大程度上提升了点击诱饵检测性能？
• RQ4 与纯文本模型相比，引入视觉特征是否显著提升了检测性能？
• RQ5 混合神经架构是否能在真实世界社交媒体数据上实现优于先前最先进方法的F1分数与准确率？

主要发现

• 所提出的混合模型在19,538条社交媒体帖子的测试集上取得了65.37%的F1分数，超越了先前的最先进水平。
• 该模型在相同数据集上优于BiLSTM基线模型（F1: 61%）与特征工程基线模型（F1: 55%）。
• 通过VGG-19与视觉孪生网络引入的视觉特征，对检测性能的提升具有显著贡献。
• 双向LSTM中的注意力机制使模型能够聚焦于对点击诱饵具有强指示意义的关键词语。
• 用于文本相似度的孪生网络有效捕捉了标题与描述之间的语义对齐，增强了模型的鲁棒性。
• 该模型实现了83.53%的准确率，表明其在基准数据集上具有出色的泛化能力。