[论文解读] Why Do Masked Neural Language Models Still Need Common Sense Knowledge?

Sunjae Kwon, Cheongwoong Kang+2 more|arXiv (Cornell University)|Nov 8, 2019

Topic Modeling参考文献 22被引用 12

一句话总结

本文研究了为何像 BERT 这类掩码神经语言模型（MNLMs）在阅读理解任务中仍难以进行常识推理，尽管其表现强劲。研究提出了一项知识探针测试，用以衡量模型所学习的常识知识，发现 MNLMs 仅部分且不精确地理解语义关系。研究证明，通过手动修改问题或使用神经记忆网络整合外部常识知识，可显著提升 MNLM 在依赖常识的困难问题上的表现，尤其在涉及同义关系或关系推理的问题上。

ABSTRACT

Currently, contextualized word representations are learned by intricate neural network models, such as masked neural language models (MNLMs). The new representations significantly enhanced the performance in automated question answering by reading paragraphs. However, identifying the detailed knowledge trained in the MNLMs is difficult owing to numerous and intermingled parameters. This paper provides empirical but insightful analyses on the pretrained MNLMs with respect to common sense knowledge. First, we propose a test that measures what types of common sense knowledge do pretrained MNLMs understand. From the test, we observed that MNLMs partially understand various types of common sense knowledge but do not accurately understand the semantic meaning of relations. In addition, based on the difficulty of the question-answering task problems, we observed that pretrained MLM-based models are still vulnerable to problems that require common sense knowledge. We also experimentally demonstrated that we can elevate existing MNLM-based models by combining knowledge from an external common sense repository.

研究动机与目标

• 探究预训练的掩码神经语言模型（MNLMs）如 BERT 是否已习得结构化的常识知识，特别是语义关系。
• 识别对 MNLMs 仍具挑战性的阅读理解问题类型，尤其是需要常识推理的问题。
• 评估是否可通过来自 ConceptNet 等知识库的外部常识知识提升基于 MNLM 的阅读理解模型性能。
• 设计并验证一种神经记忆网络架构，可自动将外部常识知识与 MNLM 表示融合，以增强推理能力。

提出的方法

• 提出一种基于 ConceptNet 三元组的知识探针测试，用于评估 MNLM 对常识知识的理解，重点关注语义关系。
• 根据问题与上下文之间的词汇重叠程度定义问题难度，识别语义变异与常识作为关键困难因素。
• 设计一种神经记忆网络，对编码外部常识三元组，并通过软注意力机制将其与 MNLM 隐状态融合。
• 实现一种知识感知注意力模块：$ I = H + \text{Softmax}(Q \cdot K) \cdot V $，其中 $ Q $、$ K $ 和 $ V $ 是 MNLM 与常识表示的线性投影。
• 开展两项实验：手动修改问题以包含外部知识，以及通过所提出的神经架构自动整合知识。
• 在 SQuAD 上评估性能，使用精确匹配和 F1 分数，对比基线 MNLM 与知识增强模型。

实验结果

研究问题

• RQ1 MNLM 是否理解各类常识知识，特别是属性之间的语义关系？
• RQ2 MNLM 能否区分相关但相反的关系，如 'cause' 与 'prevent'？
• RQ3 阅读理解问题的难度如何与词汇重叠及语义变异相关联？
• RQ4 哪些类型的阅读理解问题对 MNLM 最具挑战性，原因是什么？
• RQ5 外部常识知识能否提升基于 MNLM 的问答模型性能？

主要发现

• MNLM 仅部分理解常识知识，且无法准确区分相反关系，表明其知识整合不完整且不精确。
• 需要常识知识的问题，尤其是涉及同义关系或关系推理的问题，远比依赖词汇重叠的问题更困难。
• 手动整合外部常识知识使 BERT large 模型在 Domain A 最难的 100 个问题上达到 56% 的成功率。
• 所提出的神经记忆网络将 BERT large 在 SQuAD 上的 F1 分数从 80.11 提升至 81.87，精确匹配准确率达到 78.99%。
• 知识增强模型在 Domain A 的 100 个难题中正确回答了 12 道，且全部为常识或同义关系类型，证实了外部知识的有效性。
• 结果表明，MNLM 仍易受语义变异与关系推理影响，凸显了持续整合外部知识的必要性。