[论文解读] Can neural networks understand monotonicity reasoning?

Hitomi Yanaka, Koji Mineshima+5 more|arXiv (Cornell University)|Jun 15, 2019

Topic Modeling参考文献 33被引用 5

一句话总结

本文提出了单调性蕴含数据集（MED），这是一个大规模、众包构建的基准，用于评估神经网络模型在自然语言蕴含任务中的单调性推理能力。尽管最先进模型的表现不佳——尤其在向下蕴含任务上——但其性能严重受训练数据分布的影响，表明模型泛化能力有限，且对单调性算子及其句法交互的理解不足。

ABSTRACT

Monotonicity reasoning is one of the important reasoning skills for any intelligent natural language inference (NLI) model in that it requires the ability to capture the interaction between lexical and syntactic structures. Since no test set has been developed for monotonicity reasoning with wide coverage, it is still unclear whether neural models can perform monotonicity reasoning in a proper way. To investigate this issue, we introduce the Monotonicity Entailment Dataset (MED). Performance by state-of-the-art NLI models on the new test set is substantially worse, under 55%, especially on downward reasoning. In addition, analysis using a monotonicity-driven data augmentation method showed that these models might be limited in their generalization ability in upward and downward reasoning.

研究动机与目标

• 为自然语言蕴含中的单调性推理缺乏全面且高覆盖率的测试集提供解决方案。
• 评估神经网络模型是否能够正确理解单调性推理，特别是词汇与句法结构之间的相互作用。
• 研究自然语言蕴含模型在向上与向下单调性推理中的泛化能力。
• 分析训练数据构成对模型在单调性蕴含任务上表现的影响。

提出的方法

• 通过众包和语言学出版物收集4,856个单调性蕴含示例，构建MED数据集。
• 为每个示例标注了单调性算子、其论元以及蕴含方向（向上/向下）。
• 在SNLI和MultiNLI上微调的最先进自然语言蕴含模型（如BERT、RoBERTa）在MED测试集上进行评估。
• 采用基于单调性的数据增强方法，训练模型处理合成的向上/向下蕴含数据，并分析性能变化。
• 通过消融研究比较模型在词汇性与非词汇性蕴含问题上的表现，以及在不同单调性算子（如'few'与'a few'）上的差异。
• 通过人工评估验证，某些向下蕴含任务在人类中可自然完成，表明模型失败并非由于任务本身不清晰。

实验结果

研究问题

• RQ1 神经网络自然语言蕴含模型能否在向下蕴含情境下正确执行单调性推理？
• RQ2 训练数据构成（向上与向下蕴含）如何影响模型在单调性推理任务上的表现？
• RQ3 模型是否能在不同单调性方向之间实现泛化，还是仅对训练数据中占多数的方向存在偏见？
• RQ4 模型能否准确区分'few'等向下算子与'a few'等向上算子？
• RQ5 为何尽管向下单调性推理是基本推理技能，但其表现仍显著偏低？

主要发现

• 所有最先进自然语言蕴含模型在MED测试集上的表现均不理想，整体准确率低于55%，尤其在向下蕴含任务上表现更差。
• 模型在向下词汇性蕴含问题上的准确率为46.1%，而在非词汇性向下问题上仅为18.8%，表明其在非词汇性向下推理方面存在显著困难。
• BERT无法区分'few'（向下）与'a few'（向上），在相同示例的向上与向下变换版本上产生相同的预测结果。
• 在仅包含向上蕴含数据的增强数据上微调的模型，在向下蕴含任务上表现更差，反之亦然，表明性能主要由训练数据方向主导。
• 在394道所有模型均失败的问题中，有244道为非词汇性问题，表明非词汇性向下蕴含尤其具有挑战性。
• MultiNLI训练集中仅有77个向下蕴含问题，且语用因素可能在自然文本中抑制了向下蕴含的出现，导致数据稀缺。