[论文解读] IR-BERT: Leveraging BERT for Semantic Search in Background Linking for News Articles

Anup Anand Deshmukh, Udhav Sethi|arXiv (Cornell University)|Jul 24, 2020

Topic Modeling参考文献 14被引用 11

一句话总结

本文提出 IR-BERT，一种基于 BERT 的句子嵌入技术，用于新闻文章中的背景链接语义搜索，以提升传统 BM25 方法的检索相关性。通过利用 SBERT 的上下文表示，该模型在 nDCG@5 上达到 0.4199，优于 TREC 2018 的中位数（0.3448）和最佳 2018 年模型（umass_cbrdm，0.4173），证明了上下文嵌入在检索相关背景文章方面的有效性。

ABSTRACT

This work describes our two approaches for the background linking task of TREC 2020 News Track. The main objective of this task is to recommend a list of relevant articles that the reader should refer to in order to understand the context and gain background information of the query article. Our first approach focuses on building an effective search query by combining weighted keywords extracted from the query document and uses BM25 for retrieval. The second approach leverages the capability of SBERT (Nils Reimers et al.) to learn contextual representations of the query in order to perform semantic search over the corpus. We empirically show that employing a language model benefits our approach in understanding the context as well as the background of the query article. The proposed approaches are evaluated on the TREC 2018 Washington Post dataset and our best model outperforms the TREC median as well as the highest scoring model of 2018 in terms of the nDCG@5 metric. We further propose a diversity measure to evaluate the effectiveness of the various approaches in retrieving a diverse set of documents. This would potentially motivate researchers to work on introducing diversity in their recommended list. We have open sourced our implementation on Github and plan to submit our runs for the background linking task in TREC 2020.

研究动机与目标

• 通过超越基于关键词的检索，提升新闻文章中背景链接的语义理解能力。
• 解决读者缺乏主题先验知识时，难以识别上下文相关背景文章的挑战。
• 评估 BERT 的上下文嵌入是否能在新闻推荐任务中超越基于传统 BM25 的关键词检索。
• 提出并验证一种多样性度量方法，用于评估检索到的背景文章的多样性。

提出的方法

• 使用 RAKE 和 TF-IDF 加权方法，从查询文章的标题和正文提取加权关键词，构建搜索查询。
• 应用 BM25 排名算法，基于关键词增强的查询检索候选文章，支持可调参数，包括词数、重复限制和标题/正文权重。
• 使用句向量模型（SBERT）为查询和候选文章生成上下文相关的句子嵌入，实现基于语义相似度的检索。
• 采用微调后的 BERT 或 RoBERTa 模型，计算查询与语料库文档之间的语义相似度，以取代基于关键词的匹配方式，实现上下文理解。
• 引入基于 TF-IDF 的多样性度量方法，评估检索文档之间的差异性，促进背景来源的多样性。
• 使用 TREC 2018 的相关性判断对超参数进行调优，优化 nDCG@5 和多个配置下的精确率指标。

实验结果

研究问题

• RQ1 基于 BERT 的语义搜索是否能在新闻文章的背景链接任务中超越传统的 BM25 检索方法？
• RQ2 与完整文档的 BM25 方法相比，使用标题和正文加权关键词构建查询在检索性能上表现如何？
• RQ3 与基于关键词的方法相比，使用 SBERT 的上下文句子嵌入是否能提升检索到的背景文章的相关性？
• RQ4 基于 BERT 的模型在检索到的背景文章列表中，能在多大程度上提升多样性？
• RQ5 一种具有多样性意识的度量方法是否能有效评估背景文章推荐质量，而不仅依赖于标准的 IR 指标？

主要发现

• IR-BERT 在 nDCG@5 上达到 0.4199，优于 TREC 2018 的中位数（0.3448）和表现最佳的 2018 年模型（umass_cbrdm，0.4173）。
• wBT+BM25 方法（A1.1）在 P@5 上达到最高分（0.644），表明其在前 5 名检索结果中具有较强的精确率。
• 尽管在标准指标上表现略低，IR-RoBERTa（A2.1）在多样性评分上最高（0.921），表明其检索到的背景内容更具多样性。
• 使用 RoBERTa 计算语义相似度相比 BERT 略微降低了性能，表明模型选择对结果有显著影响。
• 所有提出的模型在所有指标上均优于基线 BM25 方法，证实了增强查询表示的有效性。
• 多样性度量方法有效捕捉了文档集合之间多样性的差异，IR-RoBERTa 展现出最多样化的检索结果。