[论文解读] BERTuit: Understanding Spanish language in Twitter through a native transformer

Javier Huertas‐Tato, Alejandro Martín+1 more|arXiv (Cornell University)|Apr 7, 2022

Misinformation and Its Impacts被引用 4

一句话总结

BERTuit 是一个基于 BERT 的西班牙语专用转换器模型，使用 RoBERTa 优化技术在 23000 万条推文上进行预训练，能够显著提升在 Twitter 非正式西班牙语文本上的性能。它在虚假信息检测、反讽识别和作者画像等任务中优于多语言模型（如 XLM-RoBERTa 和 M-BERT），展现出强大的零样本能力，即使在数据有限的情况下也表现优异。

ABSTRACT

The appearance of complex attention-based language models such as BERT, Roberta or GPT-3 has allowed to address highly complex tasks in a plethora of scenarios. However, when applied to specific domains, these models encounter considerable difficulties. This is the case of Social Networks such as Twitter, an ever-changing stream of information written with informal and complex language, where each message requires careful evaluation to be understood even by humans given the important role that context plays. Addressing tasks in this domain through Natural Language Processing involves severe challenges. When powerful state-of-the-art multilingual language models are applied to this scenario, language specific nuances use to get lost in translation. To face these challenges we present extbf{BERTuit}, the larger transformer proposed so far for Spanish language, pre-trained on a massive dataset of 230M Spanish tweets using RoBERTa optimization. Our motivation is to provide a powerful resource to better understand Spanish Twitter and to be used on applications focused on this social network, with special emphasis on solutions devoted to tackle the spreading of misinformation in this platform. BERTuit is evaluated on several tasks and compared against M-BERT, XLM-RoBERTa and XLM-T, very competitive multilingual transformers. The utility of our approach is shown with applications, in this case: a zero-shot methodology to visualize groups of hoaxes and profiling authors spreading disinformation. Misinformation spreads wildly on platforms such as Twitter in languages other than English, meaning performance of transformers may suffer when transferred outside English speaking communities.

研究动机与目标

• 解决通用多语言语言模型在理解非正式、上下文丰富的西班牙语 Twitter 文本方面的局限性。
• 开发一种专门针对大规模原生西班牙语推文训练的转换器模型，以捕捉语言细微差别、反讽和文化语境。
• 通过使用领域优化模型生成的细粒度上下文嵌入，提升对 Twitter 上虚假信息的检测与分析能力。
• 利用语义嵌入实现对虚假信息传播者群体的高效零样本可视化与画像分析。

提出的方法

• 使用 BERT-base 架构从零开始预训练 BERTuit，训练数据为来自 Twitter 归档的 2.3 亿条西班牙语推文的精选数据集。
• 应用 RoBERTa 风格的优化技术，包括动态掩码和下一句预测，以提升上下文表征学习能力。
• 以掩码语言建模作为预训练目标，以捕捉 Twitter 上非正式西班牙语特有的句法与语义模式。
• 通过最终的 Transformer 层生成上下文化的推文嵌入，用于下游任务的表征。
• 应用 t-SNE 进行降维，将高维嵌入投影到二维空间，以实现对虚假信息聚类的可视化分析。
• 对每个用户的推文级嵌入取平均，生成用户级表征，用于作者画像与分类。

实验结果

研究问题

• RQ1 单语、专为 Twitter 优化的转换器模型是否能在理解社交媒体上的非正式西班牙语方面超越多语言模型？
• RQ2 与最先进的多语言模型相比，BERTuit 在检测西班牙语 Twitter 文本中的反讽、仇恨言论和情感方面效果如何？
• RQ3 BERTuit 在多大程度上能够通过基于嵌入的聚类与降维技术，实现虚假信息聚类的零样本可视化？
• RQ4 在使用 BERTuit 嵌入对虚假信息传播者进行分类时，每个用户需要多少训练数据才能达到高准确率？
• RQ5 在训练有效分类模型时，数据多样性（用户数量）与数据量（每个用户的推文数量）相比，哪个作用更大？

主要发现

• 在西班牙语 Twitter 的多个 NLP 任务中，包括仇恨言论检测、反讽检测和情感分析，BERTuit 在性能上优于 XLM-RoBERTa、M-BERT 和 XLM-T。
• 即使每个用户仅有一条推文，模型在分类虚假信息传播者方面的准确率仍超过 74%，展现出强大的 few-shot 学习能力。
• 训练集中不同用户的数量与模型准确率的正相关性，强于每个用户推文数量的影响，凸显了数据多样性的关键作用。
• 对 BERTuit 嵌入进行 t-SNE 可视化后，揭示了虚假信息相关内容的有意义聚类，实现了对虚假信息群体的有效零样本识别。
• 该模型能够从极少的数据中捕捉到风格与语义模式，即使在推文样本稀疏的情况下，也能实现稳健的作者画像分析。
• 结果证实，针对社交媒体数据进行领域特定的预训练，相较于通用多语言模型，在非正式语言任务上的表现有显著提升。