[论文解读] Mono vs Multilingual Transformer-based Models: a Comparison across Several Language Tasks

Diego de Vargas Feijó, Viviane P. Moreira|arXiv (Cornell University)|Jul 19, 2020

Topic Modeling参考文献 17被引用 7

一句话总结

本文介绍了BertPT和AlbertPT，即在多样化葡萄牙语语料上预训练的单语BERT和ALBERT模型，并将其在七个NLP任务上与多语言BERT进行性能对比。结果表明，单语模型在大多数任务上达到了最先进水平，性能与多语言BERT相差不足5%，表明为葡萄牙语训练单语模型的优势有限。

ABSTRACT

BERT (Bidirectional Encoder Representations from Transformers) and ALBERT (A Lite BERT) are methods for pre-training language models which can later be fine-tuned for a variety of Natural Language Understanding tasks. These methods have been applied to a number of such tasks (mostly in English), achieving results that outperform the state-of-the-art. In this paper, our contribution is twofold. First, we make available our trained BERT and Albert model for Portuguese. Second, we compare our monolingual and the standard multilingual models using experiments in semantic textual similarity, recognizing textual entailment, textual category classification, sentiment analysis, offensive comment detection, and fake news detection, to assess the effectiveness of the generated language representations. The results suggest that both monolingual and multilingual models are able to achieve state-of-the-art and the advantage of training a single language model, if any, is small.

研究动机与目标

• 通过训练并发布单语BERT和ALBERT模型，解决多语言NLP资源中葡萄牙语代表性不足的问题。
• 评估单语葡萄牙语模型在单语NLP任务上是否优于多语言模型。
• 比较单语模型（BertPT、AlbertPT）与多语言BERT在葡萄牙语多种NLP任务中的有效性。
• 为研究人员提供免费、高质量的葡萄牙语NLP预训练模型，无需复杂训练流程。

提出的方法

• 在包括维基百科、新闻、字幕、研究摘要和议会会议记录在内的多样化葡萄牙语文本来源上，对BERT和ALBERT模型（即BertPT和AlbertPT）进行预训练。
• 采用标准BERT和ALBERT架构，使用掩码语言建模和下一句预测作为预训练目标。
• 在七个下游NLP任务上微调模型：语义文本相似度、文本蕴涵、文本分类、情感分析、攻击性评论检测、虚假新闻检测和情绪分类。
• 使用准确率、F1分数以及10折交叉验证下的宏/微平均等标准指标评估性能。
• 将结果与已发表的基线模型及官方多语言BERT模型进行比较，若性能差异在5%以内则视为等效。
• 情绪分类任务中同时采用多分类和二分类设置，使用六种情绪类别的平均F1和准确率。

实验结果

研究问题

• RQ1 在葡萄牙语NLP任务上，微调后的单语BERT模型是否优于多语言BERT模型？
• RQ2 BertPT和AlbertPT在多个NLP任务上与现有任务特定基线相比表现如何？
• RQ3 在多样化葡萄牙语文本领域上进行训练，相较于多语言模型，能在多大程度上提升模型的泛化能力？
• RQ4 单语与多语言模型之间的性能差异是否足够显著，足以证明为葡萄牙语专门训练单语模型的合理性？
• RQ5 模型规模和训练效率（如ALBERT与BERT对比）如何影响葡萄牙语低资源NLP任务上的性能？

主要发现

• BertPT和AlbertPT在七个评估NLP任务中的大多数任务上优于现有基线，显示出葡萄牙语任务中的强大性能。
• 在38次成对比较中，BertPT/AlbertPT与多语言BERT的性能差距在5%以内，表明二者效果相当。
• 在38次比较中，AlbertPT在28次中表现相当或优于BertPT（6胜4负），且训练成本更低，因此是更优选择。
• 在成对比较中，多语言BERT胜出13次，BertPT胜出12次，AlbertPT胜出13次，表明其略占优势，可能由于接触了类似语言（如西班牙语）。
• 模型在非正式文本任务（如攻击性评论检测和情感分析）中表现尤为出色，而多语言BERT因缺乏此类风格的训练而表现较差。
• 情绪分类中的误分类主要归因于数据集标注不一致，而非模型局限性，因为尽管多分类设置下准确率较低，模型仍与强基线（F1 0.84）表现相当或略低。