[论文解读] Is Your Language Model Ready for Dense Representation Fine-tuning?

Luyu Gao, Jamie Callan|arXiv (Cornell University)|Apr 16, 2021

Topic Modeling参考文献 15被引用 9

一句话总结

本文引入了优化就绪性（Optimization Readiness）作为影响低资源环境下密集表示微调的关键因素，提出了一种名为 Condenser 的预训练架构，通过微调过程中利用密集向量揭示知识，增强了语言模型的能力。通过提升就绪性，Condenser 显著提升了在小样本或噪声数据集上的性能。

ABSTRACT

Pre-trained language models (LM) have become go-to text representation encoders. Prior research used deep LMs to encode text sequences such as sentences and passages into single dense vector representations. These dense representations have been used in efficient text comparison and embedding-based retrieval. However, dense encoders suffer in low resource situations. Many techniques have been developed to solve this problem. Despite their success, not much is known about why this happens. This paper shows that one cause lies in the readiness of the LM to expose its knowledge through dense representation in fine-tuning, which we term Optimization Readiness. To validate the theory, we present Condenser, a general pre-training architecture based on Transformer LMs, to improve dense optimization readiness. We show that fine-tuning from Condenser significantly improves performance for small and/or noisy training sets.

研究动机与目标

• 探究为何在低资源或噪声训练场景下，密集表示微调表现不佳。
• 识别此类条件下密集编码器性能不佳的根本原因。
• 提出一种解决方案，提升语言模型在微调过程中通过密集表示揭示知识的能力。
• 在小样本和噪声训练集上验证所提方法的有效性。

提出的方法

• 引入优化就绪性（Optimization Readiness）的概念，定义为语言模型在微调过程中通过密集表示揭示其知识的能力。
• 设计一种基于 Transformer 语言模型的通用预训练架构 Condenser，以增强优化就绪性。
• 使用自监督目标训练 Condenser，以加强输入文本与其密集向量表示之间的对齐。
• 在下游任务上对 Condenser 进行微调，使用有限或噪声数据，并在信息检索与文本对比基准上评估性能。
• 在低资源条件下，将 Condenser 与标准预训练语言模型的性能进行对比。
• 通过消融研究验证优化就绪性对下游性能的影响。

实验结果

研究问题

• RQ1 为何在低资源或噪声训练场景下，密集编码器表现不佳？
• RQ2 语言模型通过密集表示揭示知识的就绪性在多大程度上影响微调性能？
• RQ3 提升优化就绪性能是否能带来在小样本或噪声训练集上的更好表现？
• RQ4 所提出的 Condenser 架构与标准预训练模型在低资源设置下的表现如何比较？

主要发现

• 优化就绪性是影响低资源环境下密集表示微调性能的关键因素。
• 专为提升优化就绪性而设计的 Condenser，在小样本和噪声训练集上实现了显著的性能提升。
• 该提升在多个信息检索与文本对比基准上保持一致。
• 消融研究证实，增强的优化就绪性直接促进了下游性能的提升。
• 当在有限或不完美数据上进行微调时，该方法优于标准预训练语言模型。