[论文解读] Benchmarking Compositionality with Formal Languages

Josef Valvoda, Naomi Saphra+3 more|arXiv (Cornell University)|Aug 17, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文研究了神经序列到序列模型是否能通过形式语言学习组合性字符串到字符串的转换。通过从确定性有限状态转换器（SFSTs）采样，作者发现模型要么完全泛化，要么完全失败，其中过渡覆盖度——每个过渡约需400个样本——成为可学习性的关键预测因子，尽管SCAN数据集等例外表明，可能需要更复杂的形式化体系才能建立完整的理论。

ABSTRACT

Recombining known primitive concepts into larger novel combinations is a quintessentially human cognitive capability. Whether large neural models in NLP can acquire this ability while learning from data is an open question. In this paper, we investigate this problem from the perspective of formal languages. We use deterministic finite-state transducers to make an unbounded number of datasets with controllable properties governing compositionality. By randomly sampling over many transducers, we explore which of their properties contribute to learnability of a compositional relation by a neural network. We find that the models either learn the relations completely or not at all. The key is transition coverage, setting a soft learnability limit at 400 examples per transition.

研究动机与目标

• 研究神经序列到序列模型是否能学习字符串到字符串转换中的组合泛化。
• 评估形式语言属性在决定神经网络学习系统性关系能力方面的作用。
• 识别一种可靠的数据驱动复杂度度量，用于预测模型泛化行为。
• 通过使用有限状态转换器分析其底层形式结构，挑战现有基准如SCAN。
• 探索是否超越亚正则语言的更高阶形式化体系可提供更一致的可学习性预测。

提出的方法

• 作者使用确定性有限状态转换器（SFSTs）生成大量可控的、多样化的字符串到字符串转换任务。
• 他们随机采样了2,800个SFSTs，并通过从每个转换器中采样输入-输出对来生成训练数据集。
• 在这些数据集上训练神经序列到序列模型，以评估其组合泛化能力。
• 分析的关键指标是过渡覆盖度——即每个SFST过渡被训练样本遍历的次数。
• 本研究比较了在结构复杂度和覆盖度水平各异的SFST上模型的表现。
• 将SCAN数据集逆向工程为SFST，以检验过渡覆盖度在真实世界基准中的预测能力。

实验结果

研究问题

• RQ1 神经序列到序列模型能否在由有限状态转换器生成的字符串到字符串转换上实现完美的组合泛化？
• RQ2 SFSTs的哪些形式语言属性最能预测神经模型是否能学习给定的转换？
• RQ3 过渡覆盖度（定义为每个过渡的训练样本数量）是否可作为模型泛化的可靠预测因子？
• RQ4 为何SCAN数据集尽管过渡覆盖度较低，仍能被神经模型学习？
• RQ5 是否可能存在更精细的复杂度度量，可能基于上下文无关语法等更高阶形式化体系，比亚正则层级的度量更准确地预测模型可学习性？

主要发现

• 神经序列到序列模型表现出明显的泛化阈值：它们要么完全泛化，要么完全失败，不存在部分成功的情况。
• 在随机采样的SFST中，每个过渡约400个样本的过渡覆盖度成为成功泛化的强有力预测因子。
• SCAN数据集是过渡覆盖度规则的例外，尽管覆盖度较低，仍可被学习，表明其可能更适合用更复杂的正式体系描述。
• 当引入注意力机制后，模型能可靠学习即使复杂的正则字符串复制函数，且其注意力模式与底层转换器的推导过程一致。
• 结果表明，亚正则层级的复杂度度量（如过渡覆盖度）在所有情况下均不足以预测可学习性，尤其是在涉及更高阶语法结构时。
• 本研究暗示，未来工作应探索Chomsky层级中更高阶的形式化体系，以识别一种本征复杂度度量，更准确地反映模型的学习行为。