[论文解读] Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks

Hyun‐Jin Choi, Judong Kim+2 more|arXiv (Cornell University)|Jan 26, 2021

Topic Modeling参考文献 29被引用 11

一句话总结

本文评估了 BERT 和 ALBERT 句子嵌入模型在下游 NLP 任务中的表现，提出了 Sentence-ALBERT (SALBERT) 和一种基于 CNN 的句子嵌入架构。尽管参数量更少，ALBERT 基础模型仍取得了具有竞争力的性能，其中基于 CNN 的架构使 SALBERT 在 STS 基准测试中的斯皮尔曼等级相关系数最高提升 8 分，远超 BERT 模型 1 分的提升幅度。

ABSTRACT

Contextualized representations from a pre-trained language model are central to achieve a high performance on downstream NLP task. The pre-trained BERT and A Lite BERT (ALBERT) models can be fine-tuned to give state-ofthe-art results in sentence-pair regressions such as semantic textual similarity (STS) and natural language inference (NLI). Although BERT-based models yield the [CLS] token vector as a reasonable sentence embedding, the search for an optimal sentence embedding scheme remains an active research area in computational linguistics. This paper explores on sentence embedding models for BERT and ALBERT. In particular, we take a modified BERT network with siamese and triplet network structures called Sentence-BERT (SBERT) and replace BERT with ALBERT to create Sentence-ALBERT (SALBERT). We also experiment with an outer CNN sentence-embedding network for SBERT and SALBERT. We evaluate performances of all sentence-embedding models considered using the STS and NLI datasets. The empirical results indicate that our CNN architecture improves ALBERT models substantially more than BERT models for STS benchmark. Despite significantly fewer model parameters, ALBERT sentence embedding is highly competitive to BERT in downstream NLP evaluations.

研究动机与目标

• 评估 BERT 和 ALBERT 句子嵌入模型在下游 NLP 任务（如语义文本相似性 (STS) 和自然语言蕴涵 (NLI)) 中的表现。
• 探究 ALBERT 在参数量更少的情况下，是否能与 BERT 在句子嵌入性能上保持竞争力。
• 探索替代性句子嵌入架构（特别是孪生网络和 CNN）在 BERT 和 ALBERT 基础上的有效性。
• 确定基于 CNN 的架构是否对 ALBERT 的句子嵌入性能提升幅度显著高于 BERT，尤其考虑到 ALBERT 的参数共享机制带来的不稳定性。
• 评估在混合训练数据（STSb 和 NLI）上进行微调对提升 STS 任务泛化能力（2012–2016 年）的影响。

提出的方法

• 通过将 BERT 替换为 ALBERT，提出 Sentence-ALBERT (SALBERT)，应用于 Sentence-BERT (SBERT) 的孪生网络和三元组网络架构中。
• 引入一种基于 CNN 的句子嵌入模块，用于处理 BERT 或 ALBERT 的词元嵌入，生成固定大小的句子向量。
• 采用平均池化和 [CLS] 令牌池化作为基线句子嵌入方法，用于对比分析。
• 在合并的 STSb 和 NLI（MultiNLI/SNLI）训练集上微调所有模型，以提升在 STS 任务上的泛化能力。
• 使用斯皮尔曼等级相关系数作为 STS 基准套件（STS12–STS16）的主要评估指标。
• 分析模型架构和预训练目标（如 SOP 与 NSP）对下游性能稳定性与准确性的影响力。

Figure 1: Siamese network structure used in SBERT and SALBERT

实验结果

研究问题

• RQ1 基于 ALBERT 的句子嵌入模型在 STS 和 NLI 任务上的表现与基于 BERT 的模型相比如何？
• RQ2 在 BERT 和 ALBERT 模型上引入基于 CNN 的句子嵌入架构，能在多大程度上提升性能？
• RQ3 尽管 ALBERT 初始性能较低，为何基于 CNN 的架构能为其带来比 BERT 更大的性能提升？
• RQ4 在 STSb 和 NLI 数据集上同时进行微调，是否能相比仅在 STSb 上微调，实现对多个 STS 任务（2012–2016）更好的泛化性能？
• RQ5 ALBERT 的参数共享机制引入的不稳定性如何影响句子嵌入质量？这种不稳定性能否通过 CNN 等架构改进得以缓解？

主要发现

• 基于 CNN 的句子嵌入架构使 ALBERT 基础模型在 STS 基准测试中的斯皮尔曼等级相关系数最高提升 8 分，而 BERT 基础模型仅提升 1 分。
• 尽管参数量显著更少，ALBERT 基础的句子嵌入在下游 NLP 任务中仍表现出高度竞争力。
• SALBERT（ALBERT 配合孪生网络架构）的性能低于 SBERT（BERT 配合孪生网络架构），但当引入 CNN 架构后，该性能差距被消除。
• CNN 架构在 STS12–STS16 平均提升 SALBERT 性能 2 分，而对 BERT 基础模型的影响微乎其微。
• 在 STSb 和 NLI 数据集上同时进行微调，可在 STSb 上取得最佳性能，优于仅在 STSb 或仅在 NLI 上微调。
• ALBERT 的参数共享机制带来的不稳定性可能通过 CNN 架构得到缓解，这解释了为何其性能提升幅度远超 BERT。