[论文解读] Modular Representation Underlies Systematic Generalization in Neural Natural Language Inference Models

Atticus Geiger, Kyle Richardson+1 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 40被引用 4

一句话总结

本文提出了「互换干预」方法——一种用于探测神经自然语言推理（NLI）模型内部状态并识别模块化表征的手段。基于一个新的对抗性NLI数据集，研究发现，尽管BERT具有密集架构，但仍能学习到模块化且可泛化的词汇蕴涵理论，从而在推理任务中实现系统性泛化。

ABSTRACT

In adversarial testing, we pose hard generalization tasks in order to gain insights into the solutions found by our models. What properties must a system have in order to succeed at these hard behavioral tasks? We argue that an essential factor is modular internal structure. Our central contribution is a new experimental method called 'interchange interventions', in which systematic manipulations of model-internal states are related to causal effects on their outputs, thereby allowing us to identify modular structure. Our work is grounded empirically in a new challenge Natural Language Inference dataset designed to assess systems on their ability to reason about entailment and negation. We find that a BERT model is strikingly successful at the systematic generalization task we pose using this dataset, and our active manipulations of model-internal vectors help us understand why: despite the densely interconnected nature of the BERT architecture, the learned model embeds modular, general theories of lexical entailment relations.

研究动机与目标

• 理解神经模型在训练分布之外实现系统性泛化的内部机制。
• 开发一种因果探测方法，以识别模型内部表征中的模块化结构。
• 评估BERT是否在对抗性泛化任务下学习到可泛化的词汇蕴涵与否定理论。
• 评估模块化结构在实现分布外推理任务鲁棒性能中的作用。

提出的方法

• 提出「互换干预」——对模型内部状态进行系统性操作，以观察其对模型输出的因果影响。
• 设计一个新的对抗性自然语言蕴涵（NLI）数据集，用于测试蕴涵与否定任务中的系统性泛化能力。
• 以BERT的注意力头与表征向量作为推理过程中可控操作的目标。
• 通过交换或修改内部表征后测量输出变化，以推断模块化功能单元。
• 将内部状态的结构变化与预测行为的变化进行相关性分析，以识别模块化组件。
• 应用因果分析，将特定内部表征与特定推理行为（如蕴涵与矛盾）建立因果关联。

实验结果

研究问题

• RQ1 哪些内部结构特性使神经NLI模型能够超越训练数据实现系统性泛化？
• RQ2 能否在像BERT这样的密集连接架构中识别并探测到模块化表征？
• RQ3 BERT在多大程度上学习到了可泛化的词汇蕴涵与否定理论？
• RQ4 特定的内部状态操作在系统性推理任务中如何影响模型预测？
• RQ5 模块化结构是否与对抗性NLI基准中泛化性能的提升存在因果关联？

主要发现

• BERT在新的对抗性NLI基准上表现出强大的系统性泛化能力，能有效推广到未见的蕴涵与否定组合。
• 尽管具有密集连接架构，BERT仍学习到对应于词汇蕴涵关系的模块化、可解释的表征。
• 互换干预成功识别出控制蕴涵与否定决策的特定内部表征。
• 对内部向量的操作可引发可预测的、因果性的输出变化，证实了模块化功能单元的存在。
• 模型的泛化能力建立在学习到的、可重用的组件之上，这些组件编码的是通用逻辑规则而非记忆化的模式。
• 研究结果表明，模块化内部结构是神经NLI模型实现系统性泛化的关键驱动力。