[论文解读] Clickbait Headline Detection in Indonesian News Sites using Multilingual Bidirectional Encoder Representations from Transformers (M-BERT)

Muhammad Noor Fakhruzzaman, Sa’idah Zahrotul Jannah+2 more|arXiv (Cornell University)|Feb 2, 2021

Misinformation and Its Impacts参考文献 13被引用 12

一句话总结

本研究提出一种基于多语言 BERT（M-BERT）作为上下文嵌入层，并结合前馈神经网络的点击诱饵标题检测模型，用于印度尼西亚语新闻。在包含 6,632 个标题的训练数据上，该模型在五折交叉验证中实现了 91.4% 的准确率、0.914 的 F1 分数和 0.92 的 AUC，证明了 M-BERT 在低资源印度尼西亚语自然语言处理任务中用于媒体质量评估的有效性。

ABSTRACT

Click counts are related to the amount of money that online advertisers paid to news sites. Such business models forced some news sites to employ a dirty trick of click-baiting, i.e., using a hyperbolic and interesting words, sometimes unfinished sentence in a headline to purposefully tease the readers. Some Indonesian online news sites also joined the party of clickbait, which indirectly degrade other established news sites' credibility. A neural network with a pre-trained language model M-BERT that acted as a embedding layer is then combined with a 100 nodes hidden layer and topped with a sigmoid classifier was trained to detect clickbait headlines. With a total of 6632 headlines as a training dataset, the classifier performed remarkably well. Evaluated with 5-fold cross validation, it has an accuracy score of 0.914, f1-score of 0.914, precision score of 0.916, and ROC-AUC of 0.92. The usage of multilingual BERT in Indonesian text classification task was tested and is possible to be enhanced further. Future possibilities, societal impact, and limitations of the clickbait detection are discussed.

研究动机与目标

• 为应对印度尼西亚网络新闻中点击诱饵日益泛滥的问题，该问题损害了新闻业的可信度和公众信任。
• 开发一种基于自然语言处理的自动化解决方案，用于检测印度尼西亚语的点击诱饵标题，该语言在此领域属于低资源语言。
• 评估多语言 BERT（M-BERT）在印度尼西亚语文本分类中的有效性，特别是检测以好奇心驱动或具有误导性的标题。
• 贡献一个实用工具，以支持媒体素养并减少点击诱饵引发的虚假信息传播。

提出的方法

• 在包含 6,632 个已标注为点击诱饵或非点击诱饵的印度尼西亚语新闻标题的自定义数据集上微调预训练的多语言 BERT 模型。
• 使用 M-BERT 作为上下文词嵌入层，以捕捉标题的语义和句法特征。
• 构建一个包含 100 个神经元的隐藏层和一个 Sigmoid 输出分类器的前馈神经网络，用于二分类任务。
• 应用五折交叉验证以评估模型的泛化能力和鲁棒性。
• 采用迁移学习，利用多语言表示，减少对大规模标注印度尼西亚语数据的需求。
• 使用词频-逆文档频率（TF-IDF）作为基线对比，但选择词嵌入以更好地捕捉点击诱饵中的上下文细微差别。

实验结果

研究问题

• RQ1 尽管缺乏领域特定的预训练，多语言 BERT 是否能有效检测印度尼西亚语新闻文章中的点击诱饵标题？
• RQ2 基于 M-BERT 的神经网络在分类印度尼西亚语点击诱饵标题方面的表现，与传统 TF-IDF 方法相比如何？
• RQ3 主题多样性与标注模糊性对点击诱饵检测中模型泛化能力和可靠性的影响是什么？
• RQ4 微调后的 M-BERT 模型在多大程度上能够捕捉点击诱饵语言结构随时间演变的模式？
• RQ5 在训练数据中包含非正式、煽动性或俚语词汇，是否能提升模型在现实世界点击诱饵检测中的表现？

主要发现

• 基于 M-BERT 的模型在五折交叉验证中实现了 91.4% 的准确率和 0.914 的 F1 分数，表明其在印度尼西亚点击诱饵数据集上具有强大的泛化能力。
• 该模型获得了 0.92 的 AUC 得分，表明其在区分点击诱饵与非点击诱饵标题方面具有很高的判别能力。
• 与基于 TF-IDF 的基线模型相比，该模型表现更优，证实了上下文嵌入在该任务中优于词袋方法。
• 在较新、未见过的数据集上观察到性能下降，表明可能存在分布偏移或概念漂移，即点击诱饵模式随时间演变。
• 本研究证实，M-BERT 可被有效微调用于印度尼西亚语等低资源语言的媒体质量评估任务。
• 作者指出，基于维基百科的预训练可能限制 M-BERT 对点击诱饵中常见煽动性或口语化语言的敏感度，提示未来需进行领域特定的微调。