[论文解读] BISON: BM25-weighted Self-Attention Framework for Multi-Fields Document Search.

Xuan Shan, Chuanjie Liu+5 more|arXiv (Cornell University)|Jul 10, 2020

Topic Modeling参考文献 35被引用 2

一句话总结

BISON 提出了一种基于 BM25 加权的自注意力框架，将词汇先验知识整合到自注意力机制中，用于多字段网页文档检索。通过将 BM25 分数作为可学习的注意力权重，并采用整词权重共享机制，BISON 改进了语义表征学习，且在与 BERT 及其他模型参数量相当的情况下表现更优。

ABSTRACT

Recent breakthrough in natural language processing has advanced the information retrieval from keyword match to semantic vector search. To map query and documents into semantic vectors, self-attention models are being widely used. However, typical self-attention models, like Transformer, lack prior knowledge to distinguish the importance of different tokens, which has been proved to play a critical role in information retrieval tasks. In addition to this, when applying WordPiece tokenization, a rare word may be split into several different tokens. How to translate word-level prior knowledge into WordPiece tokens becomes a new challenge for the semantic representation generation. Moreover, web documents usually have multiple fields. Due to the heterogeneity of different fields, simple combination is not a good choice. In this paper, We propose a novel BM25-weighted Self-Attention framework (BISON) for web document search. By leveraging BM25 as prior weights, BISON learns weighted attention scores jointly with query matrix Q and key matrix K. We also present an efficient whole word weight sharing solution to mitigate prior knowledge discrepancy between words and WordPiece tokens. Furthermore, BISON effectively combines multiple fields by placing different fields into different segments. We demonstrate BISON is more efficient to capture the topical and semantic representation both in query and document. Intrinsic evaluation and experiments conducted on public data sets reveal BISON to be a general framework for document ranking task. It outperforms BERT and other modern models while retaining the same model complexity with BERT.

研究动机与目标

• 为解决标准自注意力模型缺乏先验知识的问题，这些模型在信息检索中无法有效区分标记的重要性。
• 解决词级先验知识与子词级分词（如 WordPiece）在语义表征学习中的不一致问题。
• 在不采用简单拼接方法的前提下，有效整合异构文档字段（如标题、正文）并保留字段特异性语义。
• 开发一种框架，以增强查询与文档中的语义与主题表征，同时保持模型效率。

提出的方法

• 通过在查询-键交互计算过程中将 BM25 分数作为可学习的注意力权重，提出 BM25 加权自注意力机制。
• 提出整词权重共享机制，将词级先验知识有效传递至 WordPiece 分词生成的子词标记。
• 将不同文档字段（如标题、内容）分割为独立的注意力段，以建模字段特异性表征。
• 联合学习注意力权重与查询/键矩阵，并引入 BM25 先验，实现端到端训练以提升相关性建模能力。
• 采用多字段注意力机制，保留字段边界，支持字段感知的表征学习。
• 在保持与 BERT 相当的模型复杂度的同时，整合词汇先验知识与子词感知的加权机制。

实验结果

研究问题

• RQ1 将 BM25 作为先验加权机制是否能提升自注意力模型在文档检索任务中的性能？
• RQ2 如何有效将词级先验知识传递至 WordPiece 分词生成的子词标记？
• RQ3 字段特异性分割对多字段文档表征与排序性能有何影响？
• RQ4 能否通过整合词汇先验与结构化字段建模，实现一种轻量化、与 BERT 性能相当但表现更优的模型？

主要发现

• BISON 在公开文档排序数据集上优于 BERT 及其他现代模型，同时保持相同的模型复杂度。
• 将 BM25 作为可学习注意力权重显著提升了模型捕捉主题与语义相关性的能力。
• 整词权重共享机制有效缓解了词语与其子词成分之间的先验知识差异。
• 字段特异性分割通过保留文档字段的语义异质性，促进了更优的表征学习。
• 内在评估与下游实验均证实 BISON 作为通用文档排序框架的有效性。
• 该模型在基准数据集上达到最先进性能，且未增加参数量或推理成本。