[论文解读] Blackbird's language matrices (BLMs): a new benchmark to investigate disentangled generalisation in neural networks

Paola Merlo, Aixiu An+1 more|arXiv (Cornell University)|May 22, 2022

Natural Language Processing Techniques被引用 5

一句话总结

本文提出了黑鸦语言矩阵（Blackbird’s Language Matrices, BLMs），一种基于瑞文推理矩阵（Raven’s Progressive Matrices）的新型语言学基准，旨在评估神经网络的解缠离散化泛化能力。该数据集包含44,800个通过生成方式构建的句子，用于测试模型对语法一致规则的掌握程度及其在未见组合上的泛化能力，结果表明，尽管当前模型已掌握底层规则，但仍表现出一定程度的纠缠现象。

ABSTRACT

Current successes of machine learning architectures are based on computationally expensive algorithms and prohibitively large amounts of data. We need to develop tasks and data to train networks to reach more complex and more compositional skills. In this paper, we illustrate Blackbird's language matrices (BLMs), a novel grammatical dataset developed to test a linguistic variant of Raven's progressive matrices, an intelligence test usually based on visual stimuli. The dataset consists of 44800 sentences, generatively constructed to support investigations of current models' linguistic mastery of grammatical agreement rules and their ability to generalise them. We present the logic of the dataset, the method to automatically construct data on a large scale and the architecture to learn them. Through error analysis and several experiments on variations of the dataset, we demonstrate that this language task and the data that instantiate it provide a new challenging testbed to understand generalisation and abstraction.

研究动机与目标

• 开发一种新型基准，用于评估神经网络在语言推理任务中的解缠离散化泛化能力。
• 解决当前自然语言处理模型在分布外数据（i.i.d.）之外泛化能力不足以及掌握组合性语法规则能力有限的问题。
• 构建一种可扩展的生成框架，用于构建反映抽象句法结构的复杂语言学数据集。
• 探究模型如何学习并表征底层语法规则，特别是主谓一致规则在新组合中的表现。
• 提供一个测试平台，用于探测深度学习架构在抽象化与泛化能力方面的表现，其方式类似于人类的推理过程。

提出的方法

• BLMs 通过一种结构化的生成模型构建，基于主谓数一致、性别和人称等语言特征的因子组合生成句子。
• 该数据集设计为8个句子的序列（类似于视觉瑞文矩阵），每个句子都是基于一致语法规则对前一个句子进行逻辑变换的结果。
• 任务要求模型从序列中推断出底层生成规则，并预测缺失的最后一个句子，以测试其在训练数据之外的泛化能力。
• 作者使用神经序列模型（如Transformer或RNN）在BLMs上进行训练，并在分布内与分布外样本上评估性能。
• 通过错误分析识别失败模式，特别是与词汇一致性及学习表征中的纠缠现象相关的问题。
• 通过改变规则复杂度、特征类型和词汇多样性，构建数据集的不同变体，以在不同条件下探测泛化能力。

实验结果

研究问题

• RQ1 神经网络能否从一系列结构相关句子中学习并泛化语法一致规则，从而体现解缠表征？
• RQ2 词汇一致性与特征复杂度的变化如何影响模型在未见组合上的性能与泛化能力？
• RQ3 当前深度学习架构在多大程度上学习到了真正解缠的表征，还是其内部表征仍存在部分纠缠？
• RQ4 BLMs能否作为评估自然语言处理中组合泛化能力的可靠且可扩展的基准，超越简单的模式匹配？
• RQ5 模型在分布外样本上的失败原因是什么？其错误模式揭示了在抽象化与规则学习方面的哪些局限性？

主要发现

• BLMs 数据集成功支持了神经网络在复杂语法规则学习上的训练，模型在分布内样本上取得了非平凡的性能表现。
• 词汇一致性显著影响学习准确率，表明模型性能对表面词汇重复敏感，而非纯粹基于规则的抽象能力。
• 尽管已掌握底层规则，模型在表征中仍表现出部分纠缠，表明完全解缠仍是挑战。
• 错误分析揭示，当规则应用于新组合时，模型常出现系统性错误，表明其组合泛化能力有限，仍依赖记忆而非真正理解。
• 该数据集能够清晰区分成功与失败的泛化，使其成为探测模型推理与抽象能力的宝贵工具。
• 生成框架支持可扩展地创建其他语言现象的类似数据集，有助于更广泛地探究组合泛化问题。