[论文解读] Contextualized Word Representations for Document Re-Ranking

Sean MacAvaney, Andrew Yates+2 more|arXiv (Cornell University)|Apr 15, 2019

Topic Modeling被引用 7

一句话总结

本文提出 CEDR，一种联合神经排序框架，通过将 BERT 的上下文嵌入与现有神经模型相结合，以提升即兴文档重排序性能。通过利用 BERT 的分类向量以及传统特征，CEDR 在 TREC 基准测试中实现了最先进性能，优于先前方法，同时解决了 BERT 的长度限制和推理开销问题。

ABSTRACT

Although considerable attention has been given to neural ranking architectures recently, far less attention has been paid to the term representations that are used as input to these models. In this work, we investigate how two pretrained contextualized language models (ELMo and BERT) can be utilized for ad-hoc document ranking. Through experiments on TREC benchmarks, we find that several existing neural ranking architectures can benefit from the additional context provided by contextualized language models. Furthermore, we propose a joint approach that incorporates BERT's classification vector into existing neural models and show that it outperforms state-of-the-art ad-hoc ranking baselines. We call this joint approach CEDR (Contextualized Embeddings for Document Ranking). We also address practical challenges in using these models for ranking, including the maximum input length imposed by BERT and runtime performance impacts of contextualized language models.

研究动机与目标

• 探索 ELMo 和 BERT 等上下文词表示对神经即兴文档排序的影响。
• 解决神经排序模型中词表示作用未被充分探索的问题。
• 开发一种实用的联合框架，将上下文嵌入整合到现有排序架构中。
• 克服 BERT 在排序应用中输入长度限制和高推理成本等挑战。

提出的方法

• 微调 BERT 和 ELMo，以提取查询和文档词项的上下文表示。
• 将 BERT 的 [CLS] 标记表示作为联合特征，与现有神经排序模型结合。
• 在端到端可训练模型中，将上下文嵌入与传统神经排序组件（如注意力机制、前馈层）相结合。
• 通过输入截断和池化策略，管理 BERT 最大 512 个标记的序列长度限制。
• 通过模型蒸馏和特征级融合，而非完整序列编码，优化推理效率。
• 在 TREC 基准测试上，使用标准排序损失函数训练联合模型。

实验结果

研究问题

• RQ1 像 BERT 和 ELMo 这类上下文语言模型能否提升神经即兴文档重排序的性能？
• RQ2 在排序任务中，上下文嵌入与静态词表示相比表现如何？
• RQ3 将 BERT 的 [CLS] 向量整合到现有神经排序架构中的最佳方式是什么？
• RQ4 如何在排序系统中缓解 BERT 的计算和长度限制？
• RQ5 结合 BERT 与传统神经排序组件的联合模型是否优于独立的基线模型？

主要发现

• 将 BERT 的 [CLS] 向量整合到现有神经排序模型中，可在多个 TREC 基准测试中持续提升性能。
• CEDR 在 TREC 测试集合上的表现优于最先进即兴排序基线，展现出更优的有效性。
• 即使仅作为输入特征使用，ELMo 和 BERT 的上下文表示也能提升排序性能。
• 通过策略性截断和池化，联合模型设计有效缓解了 BERT 的输入长度限制。
• 通过在嵌入层融合 BERT 特征，而非对每次交互都处理完整序列，提升了运行时性能。
• 该方法在保持强有效性的同时，相比在排序流水线中使用完整 BERT 编码，显著降低了计算开销。