[论文解读] Language Representation Models for Fine-Grained Sentiment Classification

Brian Cheang, Bailey Wei+3 more|arXiv (Cornell University)|May 27, 2020

Topic Modeling参考文献 6被引用 7

一句话总结

本论文评估了 ALBERT、DistilBERT 和 RoBERTa 作为 BERT 的替代模型，在 SST-5 数据集上进行细粒度情感分类的表现。通过将 BERT 的嵌入层替换为这些模型，并应用早停策略，作者在使用 RoBERTa LARGE 时实现了新的最先进准确率 60.2%，尽管计算成本更高，但仍优于 BERT 及其他变体。

ABSTRACT

Sentiment classification is a quickly advancing field of study with applications in almost any field. While various models and datasets have shown high accuracy inthe task of binary classification, the task of fine-grained sentiment classification is still an area with room for significant improvement. Analyzing the SST-5 dataset,previous work by Munikar et al. (2019) showed that the embedding tool BERT allowed a simple model to achieve state-of-the-art accuracy. Since that paper, several BERT alternatives have been published, with three primary ones being AlBERT (Lan et al., 2019), DistilBERT (Sanh et al. 2019), and RoBERTa (Liu etal. 2019). While these models report some improvement over BERT on the popular benchmarks GLUE, SQuAD, and RACE, they have not been applied to the fine-grained classification task. In this paper, we examine whether the improvements hold true when applied to a novel task, by replicating the BERT model from Munikar et al., and swapping the embedding layer to the alternative models. Over the experiments, we found that AlBERT suffers significantly more accuracy loss than reported on other tasks, DistilBERT has accuracy loss similar to their reported loss on other tasks while being the fastest model to train, and RoBERTa reaches anew state-of-the-art accuracy for prediction on the SST-5 root level (60.2%).

研究动机与目标

• 评估 BERT 替代模型（ALBERT、DistilBERT 和 RoBERTa）在细粒度情感分类任务上是否优于 BERT。
• 探究在 GLUE、SQuAD 和 RACE 等基准上观察到的性能提升是否能推广到更复杂的 SST-5 细粒度情感分类任务。
• 在多分类情感分类背景下，确定模型规模、训练速度与准确率之间的权衡。
• 识别最优训练策略（如早停）以减轻微调 BERT 模型在 SST-5 上的过拟合问题。
• 通过优化预训练语言模型，为 SST-5 根级别情感分类建立新的最先进准确率。

提出的方法

• 通过将 BERT 模型的嵌入层替换为 ALBERT BASE、DistilBERT BASE 和 RoBERTa LARGE，复现了 Munikar 等人（2019）的 BERT 模型。
• 使用相同的微调协议训练每个模型：在池化后的 CLS token 上添加一个简单的分类头，包含 dropout 和 softmax 层。
• 基于验证损失应用早停策略以防止过拟合，该现象在初始训练运行中已被观察到。
• 使用 SST-5 数据集进行评估，重点关注五种类别的根级别情感分类：非常负面、负面、中性、正面、非常正面。
• 通过准确率、损失曲线和混淆矩阵比较模型性能，以分析各类别的行为和泛化能力。
• 对学习率和 dropout 率等超参数进行优化，并额外进行了 dropout 调度的消融实验。

实验结果

研究问题

• RQ1 RoBERTa、ALBERT 和 DistilBERT 是否在 SST-5 数据集的细粒度情感分类任务中优于 BERT？
• RQ2 这些模型在 GLUE 和 SQuAD 等标准基准上的性能提升，在更细致的 SST-5 任务中是否依然有效？
• RQ3 在细粒度情感分析中，模型效率（训练速度、参数量）与准确率之间的权衡如何？
• RQ4 在 SST-5 上微调 BERT 模型时，早停是否能显著提升泛化能力并减少过拟合？
• RQ5 RoBERTa 是否能在 SST-5 根级别分类任务中实现新的最先进准确率？

主要发现

• RoBERTa LARGE 在 SST-5 根级别情感分类任务中实现了 60.2% 的新最先进准确率，超越了此前 55.5% 的 SOTA 水平。
• ALBERT BASE 在准确率上的损失远高于其在其他基准上的报告表现，表明其在细粒度情感任务中泛化能力较差。
• DistilBERT BASE 在训练速度上比 BERT BASE 快 50%，同时保持了接近的准确率（0.532 vs. 0.562），是效率与准确率之间理想权衡的选择。
• 混淆矩阵显示，RoBERTa LARGE 在除“强烈负面”外的所有类别中均优于 BERT LARGE，其中“强烈负面”类别的正确分类率提升了 7.5%。
• 模型在早期训练阶段表现出过拟合，测试损失在 2–3 个周期内趋于平稳，通过早停策略得到缓解。
• 作者确认，Munikar 等人（2019）原始的 BERT 模型存在过拟合现象，通过重新训练并应用早停策略，性能超越了报告的基线水平。