[论文解读] FAQ Retrieval using Query-Question Similarity and BERT-Based Query-Answer Relevance

Wataru Sakata, Tomohide Shibata+2 more|arXiv (Cornell University)|May 8, 2019

Topic Modeling参考文献 14被引用 5

一句话总结

本文提出了一种混合FAQ检索系统，结合使用TSUBAKI的无监督查询-问题（q-Q）相似度计算与基于BERT的查询-答案（q-A）相关性评分，以提升检索性能。通过利用相似的FAQ数据集来扩充有限的训练数据，该方法在日语地方政府和英文StackExchange数据集上均取得了最先进结果，在MAP、MRR和P@5指标上均优于基线模型。

ABSTRACT

Frequently Asked Question (FAQ) retrieval is an important task where the objective is to retrieve an appropriate Question-Answer (QA) pair from a database based on a user's query. We propose a FAQ retrieval system that considers the similarity between a user's query and a question as well as the relevance between the query and an answer. Although a common approach to FAQ retrieval is to construct labeled data for training, it takes annotation costs. Therefore, we use a traditional unsupervised information retrieval system to calculate the similarity between the query and question. On the other hand, the relevance between the query and answer can be learned by using QA pairs in a FAQ database. The recently-proposed BERT model is used for the relevance calculation. Since the number of QA pairs in FAQ page is not enough to train a model, we cope with this issue by leveraging FAQ sets that are similar to the one in question. We evaluate our approach on two datasets. The first one is localgovFAQ, a dataset we construct in a Japanese administrative municipality domain. The second is StackExchange dataset, which is the public dataset in English. We demonstrate that our proposed method outperforms baseline methods on these datasets.

研究动机与目标

• 解决在FAQ检索中标注查询-QA相关性所面临的高昂标注成本问题。
• 通过结合无监督q-Q相似度与基于BERT的q-A相关性，提升FAQ检索性能。
• 通过收集并利用相似的FAQ集合来缓解小规模FAQ数据集中数据稀缺的问题。
• 开发一种适用于多领域和多语言场景的鲁棒且高性能的FAQ检索系统。

提出的方法

• 使用TSUBAKI（一种基于OKAPI BM25的无监督检索系统）计算查询-问题（q-Q）相似度。
• 应用BERT作为句子对分类器，从QA对中学习查询-答案（q-A）相关性。
• 通过配对正确的QA对并随机采样负样本答案，构建正负训练样本对。
• 利用多个相似的FAQ数据集扩充BERT的训练数据规模，缓解数据稀缺问题。
• 通过早期拼接与后期交互的方式结合q-Q相似度与q-A相关性得分，实现最终排序。
• 采用渐进式检索设置，以提升在大规模FAQ集合上的可扩展性。

实验结果

研究问题

• RQ1 将无监督q-Q相似度与基于BERT的q-A相关性结合，能否提升FAQ检索性能？
• RQ2 当训练数据规模有限时，BERT在学习q-A相关性方面的有效性如何？
• RQ3 通过相似FAQ集合进行数据增强，能否显著提升模型的泛化能力与性能？
• RQ4 该混合方法是否优于仅依赖q-Q相似度或q-A相关性的方法？

主要发现

• 在localgovFAQ数据集上，所提方法的MAP达到0.897，MRR为0.942，P@5为0.776，优于所有基线模型。
• 在StackExchange数据集上，所提方法的MAP为0.845，MRR为0.892，P@5为0.734，展现出强大的泛化能力。
• 仅使用基于BERT的q-A相关性组件时，localgovFAQ数据集上的MAP达到0.887，表明其在无q-Q相似度情况下依然有效。
• 在localgovFAQ数据集中，系统在top-1排名上正确检索到正确QA对的比例达77.6%，优于TSUBAKI和仅使用BERT的基线模型。
• 由于BERT具备上下文理解能力，即使查询与问题之间存在词汇间隙，系统仍能成功检索到相关QA对。
• 系统在使用7块GPU的情况下，每查询耗时约2秒，展现出良好的实际效率。