[论文解读] BAS: An Answer Selection Method Using BERT Language Model

Jamshid Mozafari, Afsaneh Fatemi+1 more|arXiv (Cornell University)|Nov 4, 2019

Topic Modeling参考文献 30被引用 15

一句话总结

本文提出BAS（BERT Answer Selection），一种新颖的答案选择方法，利用BERT语言模型提升对问题和候选答案的语义与句法理解。在TrecQA Raw、TrecQA Clean和WikiQA数据集上的实验表明，BAS显著优于先前方法，证明了强大的语言建模能提升答案选择性能，尤其当与高效分类器结合时效果更佳。

ABSTRACT

In recent years, Question Answering systems have become more popular and widely used by users. Despite the increasing popularity of these systems, the their performance is not even sufficient for textual data and requires further research. These systems consist of several parts that one of them is the Answer Selection component. This component detects the most relevant answer from a list of candidate answers. The methods presented in previous researches have attempted to provide an independent model to undertake the answer-selection task. An independent model cannot comprehend the syntactic and semantic features of questions and answers with a small training dataset. To fill this gap, language models can be employed in implementing the answer selection part. This action enables the model to have a better understanding of the language in order to understand questions and answers better than previous works. In this research, we will present the "BAS" (BERT Answer Selection) that uses the BERT language model to comprehend language. The empirical results of applying the model on the TrecQA Raw, TrecQA Clean, and WikiQA datasets demonstrate that using a robust language model such as BERT can enhance the performance. Using a more robust classifier also enhances the effect of the language model on the answer selection component. The results demonstrate that language comprehension is an essential requirement in natural language processing tasks such as answer-selection.

研究动机与目标

• 为解决现有答案选择模型在语义和句法理解方面存在的局限性，尤其是在小样本数据集上的表现问题。
• 探究预训练语言模型（如BERT）是否可通过提升问题与候选答案的上下文理解能力，来增强答案选择性能。
• 开发一个统一框架，将BERT与鲁棒分类器结合，以最大化答案选择任务的性能。
• 评估基于BERT的建模在答案选择中常见的低资源设置下的有效性。
• 证明语言理解是自然语言处理中高性能答案选择的关键组成部分。

提出的方法

• BAS框架在答案选择任务上微调BERT-base模型，利用其上下文表征来处理问题和候选答案。
• 通过在问题和每个候选答案之间插入[CLS]和[SEP]标记，构建输入序列以供BERT输入。
• 使用[CLS]标记的最终隐藏状态作为分类任务的句子级表征。
• 在BERT编码器之上添加一个前馈分类器头，以预测每个候选答案的相关性得分。
• 采用交叉熵损失进行端到端训练，以优化答案相关性。
• 该方法在三个基准数据集上进行评估：TrecQA Raw、TrecQA Clean和WikiQA。

实验结果

研究问题

• RQ1 与传统方法相比，基于BERT的模型是否能显著提升答案选择性能？
• RQ2 将鲁棒语言模型（如BERT）集成后，模型在捕捉问题与答案中句法和语义特征方面的能力是否得到增强？
• RQ3 BERT带来的性能提升是否依赖于嵌入表示之上所使用的分类器质量？
• RQ4 BAS在训练数据有限的数据集上表现如何？
• RQ5 在开放域问答系统中，语言理解在多大程度上能提升答案选择性能？

主要发现

• BAS在TrecQA Raw、TrecQA Clean和WikiQA数据集上均达到最先进性能，优于先前方法。
• 使用BERT显著提升了模型理解问题与答案之间语义和句法关系的能力。
• 将BERT与强分类器结合，带来的性能增益远超仅使用BERT本身。
• 即使在较小的训练集上，模型也表现出鲁棒性，表明其具备有效的迁移学习能力。
• 实证结果证实，语言理解是实现高精度答案选择任务的关键因素。
• 该模型性能始终优于以往独立模型，尤其在复杂语义匹配场景中表现更优。