[论文解读] Conformer-Kernel with Query Term Independence for Document Retrieval

Bhaskar Mitra, Sebastian Hofstätter+2 more|arXiv (Cornell University)|Jul 20, 2020

Topic Modeling参考文献 60被引用 17

一句话总结

本文提出 Conformer-Kernel 与查询词独立性（CK-with-QTI），一种内存高效的神经排序模型，扩展了 Transformer-Kernel（TK）架构以实现完整检索。通过用线性复杂度的 Conformer 层替代自注意力机制，并整合显式的词项匹配，该模型在 TREC 2019 上实现了具有竞争力的性能，同时显著降低了 GPU 显存占用，并支持从大规模文档集合中直接检索。

ABSTRACT

The Transformer-Kernel (TK) model has demonstrated strong reranking performance on the TREC Deep Learning benchmark---and can be considered to be an efficient (but slightly less effective) alternative to BERT-based ranking models. In this work, we extend the TK architecture to the full retrieval setting by incorporating the query term independence assumption. Furthermore, to reduce the memory complexity of the Transformer layers with respect to the input sequence length, we propose a new Conformer layer. We show that the Conformer's GPU memory requirement scales linearly with input sequence length, making it a more viable option when ranking long documents. Finally, we demonstrate that incorporating explicit term matching signal into the model can be particularly useful in the full retrieval setting. We present preliminary results from our work in this paper.

研究动机与目标

• 解决 Transformer 自注意力机制在长文档检索中二次方复杂度的内存问题。
• 实现从完整文档集合的端到端文档检索，而不仅限于候选集的重排序。
• 通过用新型 Conformer 层替代标准 Transformer，提升效率与可扩展性。
• 整合显式词汇匹配以补充潜在语义匹配，减少误报。
• 证明 TK 类模型可适配完整检索任务，同时保持较低的推理成本。

提出的方法

• 用新型 Conformer 层替代标准 Transformer 层，将内存复杂度从 O(n²) 降低至 O(n × d_key)，实现序列长度的线性扩展。
• 引入查询词独立性（QTI）假设，实现查询与文档的独立编码，支持文档表征的离线预计算。
• 引入可学习的 BM25 组件作为可微分的词项匹配子模型，以增强检索过程中的词汇信号。
• 在 TK 模型基础上增加显式词项匹配头，与基于 Conformer 的潜在匹配函数并行运行。
• 使用来自最前列候选结果的弱监督进行端到端训练，将这些候选视为正样本。
• 使用 ORCAS 字段描述符作为额外文档特征，以提升排序性能。

实验结果

研究问题

• RQ1 基于 Conformer 的架构是否能通过线性内存复杂度实现长文档的有效完整检索？
• RQ2 与仅使用潜在匹配相比，整合显式词项匹配在完整检索中能多大程度提升性能？
• RQ3 QTI 假设在多大程度上实现了高效、可扩展的检索，并支持离线文档编码？
• RQ4 像 Conformer-Kernel 这类浅层、非预训练模型能否在完整检索基准上实现具有竞争力的性能？
• RQ5 Conformer 与词项匹配子模型的结合对 TREC 2019 上的 MRR 和 NDCG 得分有何影响？

主要发现

• Conformer-Kernel 模型在完整 TREC 2019 测试集上达到 MRR 0.845 和 NDCG@10 0.554，优于非神经基线模型和 DeepCT 模型。
• 引入可学习的 BM25 后性能提升至 MRR 0.906 和 NDCG@10 0.603，证明显式词汇匹配的显著优势。
• 引入 ORCAS 字段描述符后，NDCG@10 进一步提升至 0.620，表明辅助文档特征具有重要价值。
• Conformer 层将 GPU 显存使用量降低至与输入长度线性增长，而标准 Transformer 则呈二次方增长。
• 该模型在 MRR 和 NDCG@10 上均优于最佳非神经基线（BM25+RM3），表明其在完整检索中具备强大的泛化能力。
• 尽管性能优于非 BERT 基线，但该模型仍落后于 BERT 基模型（如 MRR 0.961），提示通过预训练仍有改进空间。