[论文解读] Exploring Transformers in Emotion Recognition: a comparison of BERT, DistillBERT, RoBERTa, XLNet and ELECTRA

Diogo Cortiz|arXiv (Cornell University)|Apr 5, 2021

Emotion and Mood RecognitionPsychology被引用 20

一句话总结

本研究使用专用数据集评估了五种最先进的Transformer模型——BERT、DistilBERT、RoBERTa、XLNet和ELECTRA——在细粒度情感识别任务中的表现。通过F1-score和推理速度对比其性能，发现RoBERTa和ELECTRA准确率最高，而DistilBERT在速度与准确率之间表现出良好的平衡。

ABSTRACT

This paper investigates how Natural Language Understanding (NLU) could be applied in Emotion Recognition, a specific task in affective computing. We finetuned different transformers language models (BERT, DistilBERT, RoBERTa, XLNet, and ELECTRA) using a fine-grained emotion dataset and evaluating them in terms of performance (f1-score) and time to complete.

研究动机与目标

• 评估预训练Transformer模型在细粒度情感识别任务中的有效性。
• 比较BERT、DistilBERT、RoBERTa、XLNet和ELECTRA在共享情感数据集上的性能与推理效率。
• 识别情感识别应用中模型准确率与计算效率之间的最佳平衡。
• 为架构差异如何影响情感分类结果提供实证洞察。

提出的方法

• 使用标准迁移学习协议，在细粒度情感数据集上微调五种Transformer模型——BERT、DistilBERT、RoBERTa、XLNet和ELECTRA。
• 为每种模型使用标准超参数和训练流程，确保评估条件一致。
• 以F1-score为主要指标评估模型在情感标签上的分类性能。
• 测量并比较推理时间，以评估计算效率和实时适用性。
• 所有模型均采用标准分词方法和序列分类头，确保架构间的一致性。
• 所有对比均基于单一数据集，确保评估的公平性与直接可比性。

实验结果

研究问题

• RQ1 在细粒度情感识别中，哪种Transformer模型的F1-score最高？
• RQ2 BERT、DistilBERT、RoBERTa、XLNet和ELECTRA在情感分类中的推理速度如何比较？
• RQ3 模型压缩（如DistilBERT）与完整尺寸模型相比，是否导致性能显著下降？
• RQ4 自回归架构（如XLNet）与自编码架构（如BERT、RoBERTa）在情感识别中的表现如何相互比较？
• RQ5 参数更多或训练数据更多的模型（如RoBERTa、ELECTRA）是否始终优于更小或预训练程度较低的模型？

主要发现

• RoBERTa在所有模型中取得了最高的F1-score，表明其在细粒度情感分类中表现更优。
• ELECTRA也取得了较高的F1-score，与RoBERTa非常接近，并优于BERT和XLNet。
• DistilBERT的F1-score表现强劲，仅略低于RoBERTa和ELECTRA，展现出高效率。
• 尽管参数量较小，DistilBERT的推理时间显著快于其他所有模型，适用于实时应用场景。
• 与RoBERTa和ELECTRA相比，BERT和XLNet的F1-score较低，表明其在该特定任务中效果较弱。
• 按F1-score排序，模型性能排名为：RoBERTa ≈ ELECTRA > DistilBERT > BERT > XLNet。