[论文解读] Learning to Reason with Third-Order Tensor Products

Imanol Schlag, Jürgen Schmidhuber|arXiv (Cornell University)|Nov 29, 2018

Topic Modeling被引用 29

一句话总结

该论文提出了一种RNN-TPR架构，通过使用三阶张量积表示（TPRs）从自然语言中学习组合性、类似符号的表示，从而在推理任务中实现系统性泛化。该模型通过反向传播端到端训练，在bAbI任务上实现了最先进性能，尤其在系统性分布偏移下表现更优，在单任务和多任务设置中均优于先前模型。

ABSTRACT

We combine Recurrent Neural Networks with Tensor Product Representations to learn combinatorial representations of sequential data. This improves symbolic interpretation and systematic generalisation. Our architecture is trained end-to-end through gradient descent on a variety of simple natural language reasoning tasks, significantly outperforming the latest state-of-the-art models in single-task and all-tasks settings. We also augment a subset of the data such that training and test data exhibit large systematic differences and show that our approach generalises better than the previous state-of-the-art.

研究动机与目标

• 改进神经网络在自然语言推理（NLR）中的系统性泛化能力，因为标准RNN在训练与测试数据之间存在分布偏移时会失效。
• 通过可微分的张量积表示（TPRs），实现从原始序列数据端到端学习类似符号的组合性表示。
• 通过TPRs解耦实体与关系，克服标准RNN在规则外推方面的能力局限，即超出已见示例的规则泛化能力。
• 证明在训练与测试数据表现出系统性差异时，TPR增强的RNN比先前最先进模型具有更好的泛化能力。
• 探索神经符号框架中所学分布式表示的可解释性与数据效率。

提出的方法

• 该模型将循环神经网络（RNN）与三阶张量积表示（TPRs）结合，将符号结构（如实体-关系绑定）嵌入连续向量空间。
• 每条句子被分解为填充项（实体）和角色（关系）两部分，分别在独立的向量空间中编码为向量。
• 通过填充向量与角色向量的张量积形成TPR表示，生成叠加态，以编码如“Mary是人”或“Daniel持有milk”等绑定关系。
• 系统使用可微分的解绑操作，通过与解绑向量的内积，检索特定组件（例如，识别谁持有何物）。
• 整个架构通过时间反向传播端到端训练，梯度使用RTRL风格计算，以处理TPR机制中复杂且时变的变量。
• 该架构受快速权重记忆启发，实现对内存访问的动态、注意力式控制，从而提升内存容量与推理能力。

实验结果

研究问题

• RQ1 一个可微分、端到端可训练的RNN-TPR模型能否学习到支持自然语言推理中系统性泛化的组合性表示？
• RQ2 在系统性分布偏移下（测试样本包含训练期间未见的实体-任务组合），TPR架构表现如何？
• RQ3 所学表示在多大程度上具有可解释性与解耦性，从而支持超越训练数据的规则式推理？
• RQ4 将TPRs集成到RNN中是否能提升在bAbI等基准NLR任务上的性能，相比先前最先进模型？
• RQ5 架构设计选择（如三阶TPRs与解绑机制）对模型稳定性与学习效率有何影响？

主要发现

• 所提出的RNN-TPR模型在bAbI基准上实现了最先进性能，在单任务与全任务评估设置中均优于先前最先进模型。
• 在存在系统性分布偏移的任务中（测试数据包含训练中未见的实体-任务对），该模型的泛化能力显著优于先前模型，表明其具备稳健的规则式外推能力。
• 该模型在未见的实体-任务组合上保持了超过90%的平均准确率，证明其因实体与关系表示的解耦而具备强大的系统性泛化能力。
• 对所学表示的分析表明，TPRs生成了可解释的、组合性结构，支持模块化推理与数据效率。
• 即使在训练数据中排除某些实体-任务组合时，该模型仍表现出更高的稳定性和性能，证实其学习的是可泛化的符号模式，而非记忆特定示例。
• 尽管由于TPR机制导致内存与计算成本较高，但其性能提升与可解释性使其在组合性推理任务中具有充分合理性。