[论文解读] Can recursive neural tensor networks learn logical reasoning?

Samuel R. Bowman|arXiv (Cornell University)|Dec 21, 2013

Topic Modeling参考文献 18被引用 29

一句话总结

本文研究了递归神经张量网络（RNTNs）是否能通过自定义的清晰自然语言蕴含示例数据集学习逻辑推理。该模型在高准确率下成功学习了基于单调性的推理模式，并在大多数情况下对未见过的推理类型实现了泛化，表明所学的向量表示能够支持结构化的逻辑推理。

ABSTRACT

Recursive neural network models and their accompanying vector representations for words have seen success in an array of increasingly semantically sophisticated tasks, but almost nothing is known about their ability to accurately capture the aspects of linguistic meaning that are necessary for interpretation or reasoning. To evaluate this, I train a recursive model on a new corpus of constructed examples of logical reasoning in short sentences, like the inference of "some animal walks" from "some dog walks" or "some cat walks," given that dogs and cats are animals. This model learns representations that generalize well to new types of reasoning pattern in all but a few cases, a result which is promising for the ability of learned representation models to capture logical reasoning.

研究动机与目标

• 评估递归神经张量网络（RNTNs）是否能从自然语言蕴含的监督训练中学习并泛化逻辑推理。
• 通过使用人工构建的、无歧义的蕴含示例，将推理能力与其他NLP挑战（如指代消解和句法分析）分离。
• 检验所学的向量表示是否捕捉了通用的量词语义，从而支持超越记忆固定模式的推理。
• 探究RNTNs在学习逻辑关系方面的局限性，特别是涉及'一些'和'没有'等量词时。
• 评估是否仅使用分布表示，深度学习模型就能有效学习并泛化基于单调性的推理模式。

提出的方法

• 本研究采用与Socher等人相近的递归神经张量网络（RNTN）架构，从树状句法解析树中学习短语和句子的表示。
• 模型通过基于张量的非线性变换实现递归组合，计算短语和句子的向量表示。
• 构建了一个包含1,000个无歧义自然语言蕴含示例的自定义数据集，重点聚焦于基于量词的单调性推理（例如，'所有狗都叫'蕴含'所有小狗都叫'）。
• 训练数据包含多种量词对（如'一些'、'所有'、'大多数'、'没有'）及其逻辑关系（蕴含、矛盾等），句子经精心构造以避免歧义。
• 实验采用多种训练/测试划分方式：一种是将整个量词对完全保留，另一种是排除子类或句子类型，以测试泛化能力。
• 模型通过输出表示上的Softmax分类器，训练以预测句子对之间的逻辑关系（蕴含、矛盾等）。

实验结果

研究问题

• RQ1 递归神经张量网络能否从一个小而精心筛选的无歧义自然语言蕴含示例数据集中学习并泛化逻辑推理模式？
• RQ2 该模型在未见的量词对或训练数据中未出现的推理类型上，泛化能力达到何种程度？
• RQ3 该模型是否学习了通用的量词表示，从而支持超越固定模式记忆的推理？
• RQ4 为何该模型在'一些'–'没有'量词对上始终失败？这揭示了RNTNs的表征能力存在何种局限？
• RQ5 该模型的行为是否能通过形式自然逻辑系统（如MacCartney的单调性框架）加以解释？

主要发现

• 在大多数训练配置下，该模型在学习和泛化基于单调性的推理模式方面实现了完美准确率，表现出对逻辑推理的强大归纳偏好。
• 在'成对保留'设置下，当整个量词对被保留时，模型在90%的情况下成功泛化到未见关系，表明其对量词语义的学习具有鲁棒性。
• 该模型从训练数据中学习了词汇层次结构（如'dog ⊏ animal'），并将其应用于推断关系如（some dog）bark ⊏ （all animal）bark。
• 该模型在'一些'–'没有'对上始终失败，在集合和子类保留设置中100%的案例中预测了较弱关系'|'而非严格矛盾关系'∧'，表明存在表征局限性。
• 在'一些'–'没有'上的失败与形式逻辑一致：根据MacCartney的自然逻辑，该关系无法从其他已见示例中推导，暗示模型可能学习到了一个一致但不完整的逻辑关系子集。
• 结果表明，RNTNs能够学习支持逻辑推理的通用表示，但针对某些量词组合，其优化和表征能力仍需改进。