[论文解读] Does BERT Solve Commonsense Task via Commonsense Knowledge

Leyang Cui, Sijie Cheng+2 more|arXiv (Cornell University)|Aug 10, 2020

Topic Modeling参考文献 30被引用 19

一句话总结

本文研究 BERT 是否通过结构化常识知识或浅层模式解决 CommonsenseQA 任务。通过基于注意力的分析，表明 BERT 从 ConceptNet 中捕捉到结构化知识，微调过程在更高层增强了其对这些知识的使用，证明了 BERT 中常识推理的深度整合。

ABSTRACT

The success of pre-trained contextualized language models such as BERT motivates a line of work that investigates linguistic knowledge inside such models in order to explain the huge improvement in downstream tasks. While previous work shows syntactic, semantic and word sense knowledge in BERT, little work has been done on investigating how BERT solves CommonsenseQA tasks. In particular, it is an interesting research question whether BERT relies on shallow syntactic patterns or deeper commonsense knowledge for disambiguation. We propose two attention-based methods to analyze commonsense knowledge inside BERT, and the contribution of such knowledge for the model prediction. We find that attention heads successfully capture the structured commonsense knowledge encoded in ConceptNet, which helps BERT solve commonsense tasks directly. Fine-tuning further makes BERT learn to use the commonsense knowledge on higher layers.

研究动机与目标

• 确定 BERT 是否通过深层常识知识而非浅层句法模式解决 CommonsenseQA 任务。
• 分析 BERT 中注意力头如何编码并利用来自 ConceptNet 的结构化常识知识。
• 研究微调在提升 BERT 对高层网络中常识知识使用中的作用。
• 量化常识知识对 BERT 在常识任务上预测性能的贡献。

提出的方法

• 提出两种基于注意力的方法，以分析 BERT 注意力头中是否存在并贡献于常识知识。
• 利用 ConceptNet 识别与 CommonsenseQA 任务相关的结构化常识知识。
• 测量注意力激活模式，评估注意力头是否关注 ConceptNet 中的相关常识事实。
• 比较微调前后注意力模式的变化，以评估不同层中知识利用的变化。
• 使用基于注意力的探针，隔离并量化常识知识对预测决策的贡献。

实验结果

研究问题

• RQ1 在推理过程中，BERT 注意力头是否会捕捉来自 ConceptNet 的结构化常识知识？
• RQ2 BERT 在 CommonsenseQA 上的表现是源于深层常识知识，还是浅层句法模式？
• RQ3 微调如何影响 BERT 在不同层中对常识知识的使用？
• RQ4 常识知识在多大程度上贡献于 BERT 的预测置信度和准确性？

主要发现

• BERT 注意力头成功捕捉并利用了编码在 ConceptNet 中的结构化常识知识。
• 该模型直接利用这些知识来解决常识推理任务，表明外部知识已深度整合。
• 微调增强了 BERT 使用常识知识的能力，尤其在神经网络的高层表现更明显。
• 注意力模式表明，BERT 在预测过程中会动态关注相关常识事实，支持基于知识的推理。