[论文解读] Explicit Utilization of General Knowledge in Machine Reading Comprehension

Chao Wang, Hui Jiang|arXiv (Cornell University)|Sep 10, 2018

Topic Modeling参考文献 40被引用 9

一句话总结

本文提出知识增强阅读器（KAR），一种端到端机器阅读理解模型，通过显式整合从 WordNet 提取的词间语义关联作为通用知识，以增强注意力机制。KAR 在标准基准上达到最先进性能，在数据效率和对抗性噪声鲁棒性方面显著优于现有模型，尤其在训练数据有限或受损时表现更优。

ABSTRACT

To bridge the gap between Machine Reading Comprehension (MRC) models and human beings, which is mainly reflected in the hunger for data and the robustness to noise, in this paper, we explore how to integrate the neural networks of MRC models with the general knowledge of human beings. On the one hand, we propose a data enrichment method, which uses WordNet to extract inter-word semantic connections as general knowledge from each given passage-question pair. On the other hand, we propose an end-to-end MRC model named as Knowledge Aided Reader (KAR), which explicitly uses the above extracted general knowledge to assist its attention mechanisms. Based on the data enrichment method, KAR is comparable in performance with the state-of-the-art MRC models, and significantly more robust to noise than them. When only a subset (20%-80%) of the training examples are available, KAR outperforms the state-of-the-art MRC models by a large margin, and is still reasonably robust to noise.

研究动机与目标

• 弥合 MRC 模型与人类阅读者在数据效率和对噪声鲁棒性方面的差距。
• 解决当前 MRC 模型仅依赖篇章特定信息、缺乏通用世界知识访问的问题。
• 开发一种显式利用词间语义关联（如同义词、上位词）作为结构化通用知识的 MRC 方法。
• 设计一种端到端 MRC 模型，使其能够理解并控制通用知识如何影响注意力机制。
• 评估显式整合通用知识是否能提升模型性能，尤其是在低数据和噪声环境下。

提出的方法

• 一种数据增强方法利用 WordNet 从每个篇章-问题对中提取词间语义关联（如同义词、上位词）。
• 通过 WordNet 中的多跳链提取语义关系，捕捉如 'facilitate' → 'help' 或 'Brooklyn' → 'borough' 等关系。
• 提取的语义关联被视为通用知识，并作为输入提供给 KAR 模型。
• KAR 采用知识增强注意力机制，在答案跨度预测过程中选择性关注相关语义关联。
• 模型端到端训练，注意力权重由预提取语义关联的相关性动态调节。
• 在 SQuAD 上评估该方法，使用不同规模的训练集和对抗性噪声（AddSent、AddOneSent），以测试数据效率和鲁棒性。

实验结果

研究问题

• RQ1 显式整合 WordNet 提取的词间语义关联是否能提升 MRC 模型性能？
• RQ2 使用通用知识是否能增强模型对测试样本中对抗性噪声的鲁棒性？
• RQ3 在仅使用少量训练数据时，知识增强的 MRC 模型能否保持高性能？
• RQ4 与隐式知识编码相比，显式知识使用在可解释性和控制性方面有何差异？
• RQ5 WordNet 中的多跳语义关系在多大程度上有助于 MRC 中的答案预测？

主要发现

• KAR 在 SQuAD 开发集上表现具有竞争力，EM 和 F1 分数与最先进模型相当。
• 当仅使用 20% 的训练数据时，KAR 显著优于 SAN 和 QANet，展现出更优的数据效率。
• 在对抗性测试集（AddSent 和 AddOneSent）上，KAR 的性能显著高于 SAN 和 QANet，表现出更强的抗噪声能力。
• 使用从 WordNet 提取的预训练语义关联可增强有效训练信号，因为这些关联在多个样本中重复出现，相当于扩展了训练数据。
• KAR 的注意力机制能够抑制无关或干扰的语义关联（如在金融语境中 'bank' 与 'waterside' 的关联），从而更专注于相关知识。
• 性能提升归因于对通用知识的显式、可控使用，使模型能够超越表面词汇匹配进行推理。