[论文解读] Exploring Machine Reading Comprehension with Explicit Knowledge

Chao Wang, Hui Jiang|arXiv (Cornell University)|Sep 10, 2018

Topic Modeling参考文献 12被引用 4

一句话总结

本文提出知识增强阅读器（KAR），一种将基于WordNet的数据增强所获得的显式知识整合到机器阅读理解（MRC）模型中的方法，以提升答案跨度预测性能。通过控制提取的语义关系数量，KAR在SQuAD开发集上实现了72.4的EM和81.1的F1，性能波动范围达2%，且与知识量直接相关，证明了显式知识在MRC中的有效性。

ABSTRACT

To apply general knowledge to machine reading comprehension (MRC), we propose an innovative MRC approach, which consists of a WordNet-based data enrichment method and an MRC model named as Knowledge Aided Reader (KAR). The data enrichment method uses the semantic relations of WordNet to extract semantic level inter-word connections from each passage-question pair in the MRC dataset, and allows us to control the amount of the extraction results by setting a hyper-parameter. KAR uses the extraction results of the data enrichment method as explicit knowledge to assist the prediction of answer spans. According to the experimental results, the single model of KAR achieves an Exact Match (EM) of $72.4$ and an F1 Score of $81.1$ on the development set of SQuAD, and more importantly, by applying different settings in the data enrichment method to change the amount of the extraction results, there is a $2\%$ variation in the resulting performance of KAR, which implies that the explicit knowledge provided by the data enrichment method plays an effective role in the training of KAR.

研究动机与目标

• 通过在模型训练过程中整合显式通用知识，提升机器阅读理解（MRC）性能。
• 解决现有MRC模型仅依赖上下文、未利用外部语义知识的局限性。
• 探究显式提取的知识量对MRC模型性能的影响。
• 开发一种基于WordNet的系统化方法，从篇章-问题对中提取语义关系。

提出的方法

• 基于WordNet的数据增强方法，从篇章-问题对中的词语间提取语义关系，生成显式知识。
• 通过超参数控制提取关系的数量，实现对知识输入规模的调节。
• 知识增强阅读器（KAR）在答案跨度预测过程中，将增强的语义关系作为显式知识引入。
• KAR利用注意力机制将显式知识与上下文及问题表征进行融合，以提升推理能力。
• 模型在SQuAD数据集上端到端训练，将增强知识作为辅助输入。
• 在不同知识量设置下，通过SQuAD开发集上的EM和F1分数评估模型性能。

实验结果

研究问题

• RQ1 基于WordNet的显式知识整合对MRC模型性能有何影响？
• RQ2 提取的知识量在多大程度上影响MRC模型的预测准确率？
• RQ3 基于WordNet的数据增强方法能否有效从MRC数据中提取出语义相关的词间关联？
• RQ4 显式知识的使用是否在不同知识量设置下均带来一致的性能提升？

主要发现

• 单模型KAR在SQuAD开发集上实现了72.4的精确匹配（EM）得分和81.1的F1得分。
• 在数据增强超参数的不同设置下，性能波动最高达2%，表明知识量与模型准确率之间存在直接关联。
• 性能波动证实，通过WordNet提取的显式知识在提升MRC预测性能方面具有显著且可测量的作用。
• 结果表明，可控的知识注入可增强模型推理能力，尤其在识别正确答案跨度方面。
• 该方法成功将外部语义知识整合到MRC中，且无需额外的训练数据，仅依赖原始SQuAD标注。
• 通过知识输入增加时性能的持续变化，验证了知识注入的有效性，表明其具备可扩展性和可控性。