[论文解读] Commonsense Evidence Generation and Injection in Reading Comprehension

Ye Liu, Tao Yang+3 more|arXiv (Cornell University)|May 11, 2020

Topic Modeling被引用 6

一句话总结

本文提出 CEGI 框架，通过生成并注入文本和事实性常识证据，增强阅读理解模型的推理能力。该框架利用语言模型和知识图谱补全技术，并采用胶囊网络优化预测结果，在 CosmosQA 排行榜上达到 83.6% 的准确率，比当前最先进方法高出 2%。

ABSTRACT

Human tackle reading comprehension not only based on the given context itself but often rely on the commonsense beyond. To empower the machine with commonsense reasoning, in this paper, we propose a Commonsense Evidence Generation and Injection framework in reading comprehension, named CEGI. The framework injects two kinds of auxiliary commonsense evidence into comprehensive reading to equip the machine with the ability of rational thinking. Specifically, we build two evidence generators: the first generator aims to generate textual evidence via a language model; the other generator aims to extract factual evidence (automatically aligned text-triples) from a commonsense knowledge graph after graph completion. Those evidences incorporate contextual commonsense and serve as the additional inputs to the model. Thereafter, we propose a deep contextual encoder to extract semantic relationships among the paragraph, question, option, and evidence. Finally, we employ a capsule network to extract different linguistic units (word and phrase) from the relations, and dynamically predict the optimal option based on the extracted units. Experiments on the CosmosQA dataset demonstrate that the proposed CEGI model outperforms the current state-of-the-art approaches and achieves the accuracy (83.6%) on the leaderboard.

研究动机与目标

• 解决预训练模型在捕捉显式语境之外的常识推理方面的局限性。
• 通过注入外部且可解释的常识证据，提升多选题阅读理解性能。
• 通过联合使用文本和事实性知识源，提升模型性能。
• 开发一种推理框架，利用胶囊网络捕捉候选选项之间的交互关系。
• 证明生成的证据可提升常识推理任务中模型的可解释性和准确率。

提出的方法

• 文本证据生成器使用预训练语言模型，生成基于常识的自然语言解释。
• 事实证据生成器从知识图谱（如 ConceptNet）中提取并补全三元组，生成结构化且对齐的事实。
• 将文本和事实性证据共同注入基于 RoBERTa 的上下文编码器，以丰富段落、问题、选项和证据的表征。
• 采用基于共识路由的胶囊网络，动态建模语言单元（词语和短语）之间的关系，以提升选项选择能力。
• 模型使用多头注意力机制，对段落、问题、选项和证据之间的表征进行对齐与匹配。
• 最终预测基于胶囊网络对不同语言单元间分层且动态的特征聚合结果做出。

实验结果

研究问题

• RQ1 生成的文本和事实性常识证据是否能提升需要隐含推理的阅读理解任务性能？
• RQ2 与仅使用单一来源相比，同时注入两种类型证据如何影响模型准确率？
• RQ3 胶囊网络在建模候选选项间交互关系方面，能在多大程度上提升决策能力？
• RQ4 生成的证据是否具备人类可读性，并有助于解释模型预测？
• RQ5 CEGI 框架是否能在 CosmosQA 之外的其他常识推理基准上实现泛化？

主要发现

• CEGI 在 CosmosQA 排行榜上达到 83.6% 的准确率，比先前最先进方法 K-Adapter 提高 2 个百分点。
• 文本与事实性证据联合注入的性能最高（在 CosmosQA 开发集上准确率达 83.2%），优于单一来源注入。
• 与未使用胶囊网络的模型相比，胶囊网络使推理准确率提升 1.3 个百分点，表明其在建模选项级交互方面的有效性。
• 消融实验表明，两种证据生成器均具有显著贡献，单独使用任一类型证据均可提升性能。
• 生成的证据具备人类可读性，可提供可解释的推理过程，增强模型的透明度与可信度。