[论文解读] ERNIE at SemEval-2020 Task 10: Learning Word Emphasis Selection by Pre-trained Language Model

Zhengjie Huang, Shikun Feng+6 more|arXiv (Cornell University)|Sep 8, 2020

Natural Language Processing Techniques参考文献 10被引用 8

一句话总结

本论文提出了一套在 SemEval-2020 任务 10 中表现最佳的系统，该任务旨在为视觉媒体设计选择短文本中的强调词。系统利用预训练语言模型（尤其是 ERNIE 2.0）结合混合损失函数（点对点均方误差与成对排序损失）、词汇特征（首字母大写、话题标签）以及数据增强技术，取得了 0.823 的最先进得分，在所有指标中排名第一。

ABSTRACT

This paper describes the system designed by ERNIE Team which achieved the first place in SemEval-2020 Task 10: Emphasis Selection For Written Text in Visual Media. Given a sentence, we are asked to find out the most important words as the suggestion for automated design. We leverage the unsupervised pre-training model and finetune these models on our task. After our investigation, we found that the following models achieved an excellent performance in this task: ERNIE 2.0, XLM-ROBERTA, ROBERTA and ALBERT. We combine a pointwise regression loss and a pairwise ranking loss which is more close to the final M atchm metric to finetune our models. And we also find that additional feature engineering and data augmentation can help improve the performance. Our best model achieves the highest score of 0.823 and ranks first for all kinds of metrics

研究动机与目标

• 开发一种自动化方法，用于为视觉媒体设计选择短文本中最关键的词语。
• 应对有限的、众包标注的数据集及其不一致的标注者标准所带来的挑战。
• 通过预训练语言模型及特定任务的微调策略，提升强调词选择的性能。
• 探究辅助特征与数据增强在低资源环境下的有效性。

提出的方法

• 在强调词选择任务上微调预训练语言模型（ERNIE 2.0、XLM-ROBERTA、RoBERTa 和 ALBERT），采用序列标注框架。
• 应用混合损失函数，结合均方误差（MSE）用于点对点回归与成对排序损失，以与最终的 Match_m 评估指标对齐。
• 将显式的词汇特征（首字母大写、话题标签存在性）作为 0-1 向量引入，增强模型对视觉强调线索的感知能力。
• 通过随机删除词语（1%）、随机大写转换（5%）及句子反转（10%）进行数据增强，以减少在小规模训练集上的过拟合。
• 采用 8 折交叉验证，并对每折进行五次随机运行，以应对小数据集带来的高方差，确保性能评估的稳定性。
• 集成表现最佳的配置以获得最终提交结果，最大化模型鲁棒性与得分。

实验结果

研究问题

• RQ1 预训练语言模型在视觉媒体低资源强调词选择任务中的有效性如何？
• RQ2 与标准回归损失相比，成对排序损失是否能更好地与 Match_m 评估指标对齐？
• RQ3 显式的词汇特征（如首字母大写、话题标签）是否能提升强调词预测的模型性能？
• RQ4 在小规模众包数据集中，数据增强在多大程度上可缓解过拟合？

主要发现

• ERNIE 2.0-Large 在 8 折交叉验证中取得了 0.7810 的最高平均排名得分，优于 XLM-ROBERTA-Large、RoBERTa-Large 和 ALBERT-XXLarge-v2。
• 成对排序损失平均带来 -0.00544 的得分变化，表明其在整体上略微降低性能，但在某些情况下仍带来增益。
• 词汇特征提供了最一致的性能提升，平均增益为 +0.00105，最大增益达 +0.00709。
• 数据增强有效缓解了过拟合，平均带来 -0.00144 的得分增益，但对不同模型的影响存在差异。
• 最终集成模型取得了 0.823 的最高得分，在 SemEval-2020 任务 10 竞赛的所有评估指标中排名第一。