[论文解读] BERTSel: Answer Selection with Pre-trained Models

Dongfang Li, Yifei Yu+2 more|arXiv (Cornell University)|May 18, 2019

Topic Modeling参考文献 13被引用 12

一句话总结

本文提出 BERTSel，一种基于微调 BERT 的答案选择模型，将该任务视为成对排序问题。通过利用 BERT 的上下文表示以及结合交叉熵与合页损失的混合损失函数，BERTSel 在五个基准数据集上实现了最先进性能，显著优于先前方法在 MRR 和 MAP 分数上的表现。

ABSTRACT

Recently, pre-trained models have been the dominant paradigm in natural language processing. They achieved remarkable state-of-the-art performance across a wide range of related tasks, such as textual entailment, natural language inference, question answering, etc. BERT, proposed by Devlin et.al., has achieved a better marked result in GLUE leaderboard with a deep transformer architecture. Despite its soaring popularity, however, BERT has not yet been applied to answer selection. This task is different from others with a few nuances: first, modeling the relevance and correctness of candidates matters compared to semantic relatedness and syntactic structure; second, the length of an answer may be different from other candidates and questions. In this paper. we are the first to explore the performance of fine-tuning BERT for answer selection. We achieved STOA results across five popular datasets, demonstrating the success of pre-trained models in this task.

研究动机与目标

• 探究预训练 BERT 模型在答案选择任务中的有效性，该任务此前主要由使用浅层词嵌入的模型主导。
• 通过使用深度上下文表示进行迁移学习，解决现有答案选择模型泛化能力有限的问题。
• 证明 BERT 微调可超越特定任务架构和特征工程模型在答案选择基准上的表现。
• 分析不同 BERT 变体（base 与 large）以及训练轮次对答案选择性能的影响。

提出的方法

• 该模型采用成对训练方法，每个训练样本由一个问题及其一个正样本答案和一个负样本答案组成。
• 输入序列构建为 [CLS] 问题 [SEP] 答案 [SEP]，BERT 对每对输入编码以生成 [CLS] token 的嵌入表示。
• 通过一个全连接层并接 Sigmoid 激活函数，为每对输入生成最终的相关性得分。
• 损失函数结合了正样本与负样本预测的负对数似然与基于边距的合页损失，以强制执行排序约束。
• 组合损失定义为：λ₁(logŷθ(q,p) + log(1−ŷθ(q,n))) + λ₂max{0, m − ŷθ(q,p) + ŷθ(q,n)}，其中 λ₁=λ₂=0.5。
• 使用 Adam 优化和早停策略，在标注的答案选择数据集上端到端微调模型。

实验结果

研究问题

• RQ1 BERT 在大规模文本上预训练后，是否能在无需特定任务架构设计的情况下，有效泛化到答案选择任务？
• RQ2 基于 BERT 的微调方法与依赖手工特征或浅层嵌入的先前最先进模型相比表现如何？
• RQ3 模型规模（base 与 large）以及训练时长（轮次）对答案选择性能有何影响？
• RQ4 结合交叉熵与合页损失的混合损失是否能提升答案选择中的排序性能？

主要发现

• BERTSel 在五个标准答案选择基准数据集上实现了最先进结果：TrecQA、WikiQA、YahooQA、SemEvalcQA-16 和 SemEvalcQA-17。
• 在 TrecQA 上，BERT base 在 3 个轮次后达到 MRR=0.927 和 MAP=0.877，优于先前最先进方法的 MRR=0.865 和 MAP=0.904。
• 在 WikiQA 上，BERT base 达到 MRR=0.770 和 MAP=0.753，优于先前最先进方法的 MRR=0.758 和 MAP=0.746。
• 在 YahooQA 上，BERT base 达到 MRR=0.942 和 MAP=0.942，超过先前最先进方法的 MRR=0.801 和 MAP=0.801。
• 在 SemEvalcQA-16 上，BERT base 达到 MRR=0.872 和 MAP=0.810，优于先前最先进方法的 MRR=0.872 和 MAP=0.801。
• 在 SemEvalcQA-17 上，BERT base 达到 MRR=0.951 和 MAP=0.909，超过先前最先进方法的 MRR=0.926 和 MAP=0.887。