[论文解读] Applying a Pre-trained Language Model to Spanish Twitter Humor Prediction

Bobak Farzin, Piotr Czapla+1 more|arXiv (Cornell University)|Jul 6, 2019

Humor Studies and Applications参考文献 11被引用 5

一句话总结

本文提出了一种针对西班牙语推文幽默检测与回归任务的微调预训练语言模型，利用大规模自收集的西班牙语推文语料（47.5万条推文）和标签平滑技术以提升泛化能力。该方法在幽默检测任务中取得第3名（F1: 0.8099），在回归任务中取得第2名，通过使用Fast.ai进行迁移学习并优化随机种子初始化，优于强 baseline 模型 NBSVM。

ABSTRACT

Our entry into the HAHA 2019 Challenge placed $3^{rd}$ in the classification task and $2^{nd}$ in the regression task. We describe our system and innovations, as well as comparing our results to a Naive Bayes baseline. A large Twitter based corpus allowed us to train a language model from scratch focused on Spanish and transfer that knowledge to our competition model. To overcome the inherent errors in some labels we reduce our class confidence with label smoothing in the loss function. All the code for our project is included in a GitHub repository for easy reference and to enable replication by others.

研究动机与目标

• 通过使用预训练语言模型进行迁移学习，提升西班牙语推文中的幽默检测与趣味性评分性能。
• 通过在损失函数中引入标签平滑，缓解标签噪声与预测过自信问题。
• 通过将随机种子视为超参数并在20次试验中选择最佳初始化，提升模型泛化能力。
• 利用大规模领域特定的西班牙语推文语料构建稳健且可复现的系统，用于语言模型预训练。
• 在幽默分类与回归任务中均超越标准的 NBSVM baseline 模型。

提出的方法

• 在通过 tweepy 收集的 475,143 条西班牙语推文语料上预训练语言模型，排除转发推文以减少冗余。
• 应用一系列文本清洗函数，包括处理重复字符、全大写字词、标点符号间距与换行符标准化。
• 使用 SentencePiece 结合子词分词（BPE），将文本分词为 30,000 个词汇量的子词单元。
• 采用 ULMFiT 风格的迁移学习方法对语言模型进行微调，将最后一层替换为 Softmax（分类）或线性（回归）头。
• 在损失函数中引入标签平滑以正则化预测结果，避免过自信，实现无需逐步解冻的完整训练。
• 通过在20次初始化中选择最佳随机种子，并在验证数据上使用5折交叉验证，优化模型性能。

实验结果

研究问题

• RQ1 与标准预训练模型相比，自收集的大规模西班牙语推文语料是否能提升幽默检测性能？
• RQ2 在迁移学习中，损失函数中的标签平滑是否比逐步解冻策略带来更好的泛化能力与更快的收敛速度？
• RQ3 在西班牙语幽默分类等低资源 NLP 任务中，随机种子初始化如何影响模型性能？
• RQ4 使用领域特定语言模型进行迁移学习，在西班牙语幽默预测任务中，能在多大程度上超越强 baseline 模型 NBSVM？
• RQ5 在无需手工特征工程的前提下，端到端训练预训练语言模型能否在西班牙语幽默检测与回归任务中达到最先进性能？

主要发现

• 该模型在测试集上以 F1 得分 0.8099 获得幽默检测任务第3名，优于 NBSVM baseline（F1: 0.7548）。
• 表现最佳的模型在验证集上经5折交叉验证后 F1 达 0.8254，表明其具备出色的泛化能力。
• 标签平滑使模型能够实现完整训练而无需逐步解冻，降低了训练复杂度，同时保持了性能。
• 在20次试验中选择最佳随机种子，使 F1 得分较首次种子提升 0.0016，凸显了初始化在模型选择中的重要性。
• 该系统在 F1（0.8099 vs. 0.7548）与回归任务的 RMSE 上均优于 NBSVM baseline，获得第2名。
• 使用16倍大、领域特定的西班牙语推文语料显著增强了语言模型对俚语、缩写与表情符号等幽默相关特征的捕捉能力。