[论文解读] Incorporating Count-Based Features into Pre-Trained Models for Improved Stance Detection

Anushka Prakash, Harish Tayyar Madabushi|arXiv (Cornell University)|Oct 18, 2020

Sentiment Analysis and Opinion Mining参考文献 23被引用 9

一句话总结

该论文提出了一种新颖的架构，通过训练多层感知机（MLP）将基于计数的特征——特别是TF-IDF表示——整合到RoBERTa中，以提升社交媒体上的立场检测性能。通过利用突出立场相关词汇（例如'fake'、'not true'）的手工特征，该集成模型在RumourEval 2019数据集上实现了63.94的SOTA F1分数，尤其显著改善了表现欠佳的'Deny'类性能。

ABSTRACT

The explosive growth and popularity of Social Media has revolutionised the way we communicate and collaborate. Unfortunately, this same ease of accessing and sharing information has led to an explosion of misinformation and propaganda. Given that stance detection can significantly aid in veracity prediction, this work focuses on boosting automated stance detection, a task on which pre-trained models have been extremely successful on, as on several other tasks. This work shows that the task of stance detection can benefit from feature based information, especially on certain under performing classes, however, integrating such features into pre-trained models using ensembling is challenging. We propose a novel architecture for integrating features with pre-trained models that address these challenges and test our method on the RumourEval 2019 dataset. This method achieves state-of-the-art results with an F1-score of 63.94 on the test set.

研究动机与目标

• 通过将手工设计的基于计数的特征整合到预训练模型中，提升社交媒体上立场检测的性能，特别是针对表现欠佳的类别（如'Deny'）。
• 解决将浅层、基于特征的模型与深度预训练模型（如RoBERTa）进行集成时常见的过拟合或信息丢失问题。
• 开发一种有效架构，在保留任务特定特征信息的同时，将其与RoBERTa的上下文表示相结合。
• 探究显式建模立场相关词汇模式（例如否定、否认标记）是否能超越纯上下文建模，提升分类性能。
• 通过平衡基于特征和上下文的信号，减少对讽刺性评论或疑问句等细微情况的误分类。

提出的方法

• 该方法采用双流架构：一条流通过RoBERTa处理输入文本以提取上下文嵌入，另一条流则使用多层感知机（MLP）处理来自相同文本的TF-IDF特征。
• TF-IDF特征源自回复帖子的单字和双字词组表示，重点关注与特定立场强相关联的词汇（例如，'Deny'类中的'fake'、'not true'）。
• MLP在TF-IDF特征上独立训练，以学习捕捉立场相关模式的抽象表示，随后与RoBERTa的输出融合。
• 最终预测通过连接RoBERTa分类头输出与MLP输出，并通过最终分类层完成。
• 该模型在RumourEval 2019数据集上进行端到端微调，MLP组件在融合前预先训练，以避免联合训练期间的过拟合。
• 该架构旨在避免直接的特征集成（可能引入噪声），而是通过学习到的、低维的特征表示来保留任务特定信息。

实验结果

研究问题

• RQ1 基于计数的特征（如TF-IDF表示）是否能提升预训练模型（如RoBERTa）在立场检测上的性能，特别是在'Deny'等困难类别上？
• RQ2 如何在不引起过拟合或信息丢失的情况下，有效整合手工特征与深度上下文模型？
• RQ3 通过训练好的MLP学习特征的抽象表示，是否能比直接特征融合或原始特征输入带来更好的泛化性能？
• RQ4 词汇线索（如否定和否认标记）在多大程度上能提升立场分类性能？它们是否能通过特征工程可靠地捕捉？
• RQ5 基于特征的模型的集成在多大程度上影响模型对相似类别（如'Support'与'Comment'）的区分能力？

主要发现

• 所提出的集成模型在RumourEval 2019测试集上实现了63.94的宏平均F1分数，创下新的SOTA结果。
• 该模型显著提升了'Deny'类的性能，此前模型在该类别上表现不佳，得益于对'Deny'相关关键词（如'fake'、'not true'）的有效建模。
• 混淆矩阵显示，该集成模型减少了'Deny'实例的误分类，但偶尔会将包含否认词汇的'Comment'帖子误分类为'Deny'。
• 错误分析表明，模型有时会过度依赖特定词汇线索（例如，'why'对应'Query'，'fake'对应'Deny'），导致在讽刺或模糊情境下误分类。
• 该模型在包含URL的帖子上表现不佳，表明URL中缺失的信息限制了性能，且常因缺乏目标上下文而错误预测源帖子的立场。
• 与原始特征相比，使用特征的抽象MLP表示进行集成可减少噪声并提升泛化性能，优于直接集成或降维方法。