[论文解读] Machine Reading, Fast and Slow: When Do Models "Understand" Language?

Sagnik Ray Choudhury, Anna Rogers+1 more|arXiv (Cornell University)|Sep 15, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文提出一个框架，通过为共指消解和比较任务定义预期的推理步骤，评估阅读理解模型是否真正‘理解’语言。该框架利用显著性图和反事实解释来评估 BERT 家族模型。结果表明，更大的模型更倾向于依赖正确的信息进行比较，但仍依赖词汇模式而非可泛化的推理，在分布外样本上表现失败。

ABSTRACT

Two of the most fundamental challenges in Natural Language Understanding (NLU) at present are: (a) how to establish whether deep learning-based models score highly on NLU benchmarks for the 'right' reasons; and (b) to understand what those reasons would even be. We investigate the behavior of reading comprehension models with respect to two linguistic 'skills': coreference resolution and comparison. We propose a definition for the reasoning steps expected from a system that would be 'reading slowly', and compare that with the behavior of five models of the BERT family of various sizes, observed through saliency scores and counterfactual explanations. We find that for comparison (but not coreference) the systems based on larger encoders are more likely to rely on the 'right' information, but even they struggle with generalization, suggesting that they still learn specific lexical patterns rather than the general principles of comparison.

研究动机与目标

• 为解决 NLP 模型在 NLU 基准测试中取得高性能是否出于‘正确原因’的挑战。
• 定义阅读理解任务中诸如共指消解和比较等语言技能的有效推理步骤。
• 使用可解释性技术评估 BERT 模型是否依赖正确的信息。
• 研究模型性能在分布外样本，特别是反事实扰动下的泛化能力。
• 开发一种适用于广泛模型和数据集的模型‘理解’评估方法论框架。

提出的方法

• 使用结构化、分步的框架，为两种语言技能（共指消解和比较）定义预期的推理步骤。
• 使用基于显著性的解释，识别模型在回答问题时关注的输入标记。
• 生成人类可理解的反事实扰动，改变模型预测，以测试其对语义变化的鲁棒性。
• 比较显著性图与反事实解释，验证模型是否依赖正确的语言线索。
• 在 SQuAD 数据集上评估五种不同规模的 BERT 家族模型，以评估性能和推理保真度。
• 基于定义 1 应用行为测试，通过测量预期与实际模型行为的一致性，判断模型是否‘因正确原因而正确’。

实验结果

研究问题

• RQ1 在阅读理解任务中，共指消解和比较的合理推理应如何定义？
• RQ2 BERT 模型在回答涉及共指或比较的问题时，是否依赖正确的信息？
• RQ3 模型规模如何影响其依赖正确推理步骤的可能性？
• RQ4 模型在分布外反事实样本上的泛化能力如何？
• RQ5 显著性图与反事实解释在识别模型推理路径方面的一致性如何？

主要发现

• 在比较任务中，更大的 BERT 模型更可能依赖正确的信息，表明规模增大可提升推理保真度。
• 即使最大规模的模型也无法泛化到分布外的反事实扰动，表明其仍依赖特定词汇模式而非通用原则。
• 在共指消解任务中，没有任何模型能持续依赖正确的信息，表明其始终未能学习到底层语言现象。
• 显著性图与反事实解释显示出部分相关性，但两者单独均不足以完全验证推理行为。
• 较小的模型可能使用启发式或不可解释的策略，因为即使展示解释，其预测仍与人类推理不一致。
• 结果表明，当前模型并未学习通用推理技能，而是记忆了表面模式，限制了其可信度和鲁棒性。