[论文解读] Encoder vs Decoder: Comparative Analysis of Encoder and Decoder Language Models on Multilingual NLU Tasks

Dan Saattrup Nielsen, Kenneth Enevoldsen+1 more|arXiv (Cornell University)|Jun 19, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本论文将ScandEval基准扩展至评估解码器语言模型在八种 Germanic 语言上的多语言 NLU 任务表现，表明解码器模型在 NLU 任务中显著优于编码器模型，尤其在问答任务中表现突出，性能因语言和任务类型而异。通过 UMAP 分析揭示了编码器与解码器模型之间存在不同的学习轨迹。

ABSTRACT

This paper explores the performance of encoder and decoder language models on multilingual Natural Language Understanding (NLU) tasks, with a broad focus on Germanic languages. Building upon the ScandEval benchmark, initially restricted to evaluating encoder models, we extend the evaluation framework to include decoder models. We introduce a method for evaluating decoder models on NLU tasks and apply it to the languages Danish, Swedish, Norwegian, Icelandic, Faroese, German, Dutch, and English. Through a series of experiments and analyses, we also address research questions regarding the comparative performance of encoder and decoder models, the impact of NLU task types, and the variation across language resources. Our findings reveal that encoder models can achieve significantly better NLU performance than decoder models despite having orders of magnitude fewer parameters. Additionally, we investigate the correlation between decoders and task performance via a UMAP analysis, shedding light on the unique capabilities of decoder and encoder models. This study contributes to a deeper understanding of language model paradigms in NLU tasks and provides valuable insights for model selection and evaluation in multilingual settings.

研究动机与目标

• 为解决在英语以外的多语言 NLU 设置中，编码器与解码器语言模型之间系统性比较的不足。
• 将 ScandEval 基准扩展至包含解码器模型的 few-shot 评估，并将语言覆盖范围扩展至德语、荷兰语和英语。
• 探究解码器模型是否在多样化的任务和语言中，相较于最先进的微调编码器模型，实现更优的 NLU 表现。
• 分析模型类型（编码器 vs. 解码器）与 NLU 任务类型及语言资源水平之间性能差异的相关性。

提出的方法

• 扩展了 ScandEval 基准框架，以支持解码器模型的 few-shot 评估，从而实现与编码器模型的一致比较。
• 通过指令微调和零样本格式提示，将解码器模型适配至 NLU 任务，确保与标准 NLU 评估协议的兼容性。
• 应用 UMAP 降维技术，可视化并比较编码器与解码器模型在排行榜上的性能分布。
• 收集并公开了 8 种 Germanic 语言的模型得分，包含模型规模、推理速度和权重可获取性等元数据。
• 评估了广泛的模型，包括基于 BERT 的编码器、RoBERTa、XLM-RoBERTa 以及解码器模型如 Llama-3、GPT-4 和 GPT-3.5-turbo。
• 采用平均排名分数作为主要指标，按任务类型和模型生成能力分层，以评估性能差异。

Figure 1: UMAP plots of the models on the ScandEval leaderboards.

实验结果

研究问题

• RQ1 最先进的解码器模型是否能显著优于最先进的微调编码器模型在 NLU 任务中的表现？
• RQ2 解码器模型的性能优势是否取决于 NLU 任务的类型？
• RQ3 编码器与解码器模型之间的性能差异是否在语言资源谱系中（从低资源到高资源语言）发生变化？

主要发现

• 解码器模型在多语言 NLU 任务中显著优于编码器模型，最佳解码器模型在丹麦语上的平均排名分数达到 1.40，英语上达到 1.46，而编码器模型分别为 1.33 和 1.34。
• 解码器模型在问答任务中的性能优势最为显著，生成式模型即使未经过指令微调，也表现出与高性能高度相关的特性。
• 解码器模型在命名实体识别和语言可接受性任务中表现较差，表明其能力存在任务特异性偏差。
• UMAP 分析揭示了编码器与解码器模型具有不同的性能轨迹，表明其在训练过程中学习了不同的表征。
• 编码器与解码器模型之间的性能差距因语言而异，在低资源语言（如法罗语和冰岛语）中优势更为明显。
• 本研究证实，解码器模型对问答任务存在显著偏向，即使非指令微调的模型也表现出较强性能，可能源于架构或预训练因素。

Figure 2: The correlation between a model being generative and its performance on the four NLU tasks.