[论文解读] Contextual Aware Joint Probability Model Towards Question Answering System

Yang Liu, Lijing Song|arXiv (Cornell University)|Apr 17, 2019

Topic Modeling参考文献 9被引用 4

一句话总结

该论文提出了一种混合 BERT-BiDAF 模型，结合一种新颖的联合概率预测器，以提升 SQuAD 2.0 上的阅读理解性能，显式建模答案可回答性与答案跨度预测的联合后验分布。该方法在测试排行榜上取得了 75.842% 的 F1 分数和 72.24% 的 EM 分数，通过避免使用人工的 'no-answer' 标记，展现出相较于标准方法更优的推理能力。

ABSTRACT

In this paper, we address the question answering challenge with the SQuAD 2.0 dataset. We design a model architecture which leverages BERT's capability of context-aware word embeddings and BiDAF's context interactive exploration mechanism. By integrating these two state-of-the-art architectures, our system tries to extract the contextual word representation at word and character levels, for better comprehension of both question and context and their correlations. We also propose our original joint posterior probability predictor module and its associated loss functions. Our best model so far obtains F1 score of 75.842% and EM score of 72.24% on the test PCE leaderboad.

研究动机与目标

• 为解决 SQuAD 2.0 中难以区分可回答与不可回答问题的挑战，该数据集包含 50,000 个设计为模仿可回答问题的不可回答问题。
• 克服现有模型依赖人工 'no-answer' 标记以及对答案跨度预测隐含假设的局限性。
• 开发一种联合概率框架，以更自然、概率上一致的方式建模答案可回答性与跨度预测之间的因果关系。
• 探究将 BERT 的词级别上下文嵌入与 BiDAF 的字符级别注意力机制相结合，是否能增强表征学习与模型性能。

提出的方法

• 将 BERT 的上下文词嵌入与 BiDAF 的双向注意力机制相结合，构建一种混合编码器，以捕捉词级别与字符级别上下文感知的表征。
• 提出一种联合后验概率预测器，用于建模二元答案可回答变量 A 与起始/结束跨度变量 X₁ 和 X₂ 的联合分布。
• 设计一种与联合概率结构一致的自定义损失函数，避免标准跨度预测损失函数的局限性。
• 使用 BiDAF 的注意力流层在字符级别生成与问题相关的上下文表征，增强问题与上下文之间的交互。
• 将 BERT 的词级别表征与 BiDAF 的字符级别特征相结合，实现在不同粒度上的表征相互增强。
• 避免插入特殊 'no-answer' 标记；相反，模型通过概率推理同时学习预测答案可回答性与跨度。

实验结果

研究问题

• RQ1 是否一种显式建模答案可回答性对跨度存在性因果依赖的联合概率模型，能优于将答案可回答性视为独立分类头的模型？
• RQ2 将 BERT 的词级别上下文嵌入与 BiDAF 的字符级别注意力机制结合，是否能提升阅读理解任务的表征学习效果？
• RQ3 为联合概率预测设计的自定义损失函数，是否能比标准的基于熵的损失函数更准确地反映 SQuAD 2.0 中的模型性能？
• RQ4 词级别与字符级别表征之间的相互增强，在不可回答问题上的泛化能力提升方面，其作用程度如何？
• RQ5 避免使用人工 'no-answer' 标记，是否能带来更鲁棒且可解释的开放域阅读理解预测结果？

主要发现

• 所提出的模型在 SQuAD 2.0 测试排行榜上取得了 75.842% 的 F1 分数与 72.24% 的 EM 分数，展现出在具有挑战性的基准上的强劲性能。
• 结合自定义损失函数的联合概率预测器，使答案可回答性与跨度预测之间的推理更加连贯且具有因果一致性，优于标准方法。
• 消融实验证实，BERT 与 BiDAF 特征的融合带来了性能提升，验证了多粒度表征之间相互增强的有效性。
• 该模型通过更优地建模有效跨度的缺失，在不可回答问题上显著减少了误报，尤其在 'The Men in Black' 等干扰项误导注意力机制的情况下表现更优。
• 与基线模型相比，该模型在关键术语如 'status' 缺失但语境中隐含的情况下，表现出更少的误报。
• 尽管性能表现强劲，该模型在模糊语境与不精确的答案边界问题上仍面临挑战，表明在跨度定位与上下文理解方面仍有改进空间。