[论文解读] Emergent Symbols through Binding in External Memory

Taylor W. Webb, Ishan Sinha+1 more|arXiv (Cornell University)|May 3, 2021

Ferroelectric and Negative Capacitance Devices参考文献 39被引用 5

一句话总结

该论文提出了一种新型循环神经网络——涌现符号绑定网络（ESBN），其配备外部记忆，能够在无需显式符号处理的情况下，通过学习使类似符号的表征自然涌现。通过记忆机制绑定变量，ESBN仅需少量样本即可对新实体实现近乎完美的泛化，在规则归纳任务上优于其他神经网络架构。

ABSTRACT

A key aspect of human intelligence is the ability to infer abstract rules directly from high-dimensional sensory data, and to do so given only a limited amount of training experience. Deep neural network algorithms have proven to be a powerful tool for learning directly from high-dimensional data, but currently lack this capacity for data-efficient induction of abstract rules, leading some to argue that symbol-processing mechanisms will be necessary to account for this capacity. In this work, we take a step toward bridging this gap by introducing the Emergent Symbol Binding Network (ESBN), a recurrent network augmented with an external memory that enables a form of variable-binding and indirection. This binding mechanism allows symbol-like representations to emerge through the learning process without the need to explicitly incorporate symbol-processing machinery, enabling the ESBN to learn rules in a manner that is abstracted away from the particular entities to which those rules apply. Across a series of tasks, we show that this architecture displays nearly perfect generalization of learned rules to novel entities given only a limited number of training examples, and outperforms a number of other competitive neural network architectures.

研究动机与目标

• 为解决深度神经网络在从高维感官数据中以数据高效方式归纳抽象规则方面的局限性。
• 通过使类似符号的表征在学习过程中自然涌现，弥合神经网络与符号推理之间的鸿沟。
• 在无需显式符号处理组件的前提下，为神经网络开发变量绑定与间接寻址机制。
• 证明所学习的规则能够以最小训练样本泛化到未见过的新实体。

提出的方法

• ESBN采用在外部记忆矩阵上扩展的循环网络架构，用于存储和检索表征。
• 通过记忆寻址机制将概念与特定记忆位置关联，实现间接寻址。
• 网络通过类似注意力的机制学习将实体绑定到记忆位置，从而实现符号与输入的动态关联。
• 该架构通过抽象化具体实体，支持规则学习，实现对未见实体的泛化。
• 训练过程采用通过时间反向传播，结合可微分的记忆读写操作，实现端到端学习。

实验结果

研究问题

• RQ1 具备外部记忆的神经网络能否仅用少量样本，从高维数据中学习到抽象规则？
• RQ2 在无显式符号处理组件的情况下，类似符号的表征能否在神经网络中自然涌现？
• RQ3 外部记忆中的绑定机制是否能支持对训练中未见的新实体实现泛化？
• RQ4 在数据效率与规则泛化方面，ESBN相较于其他神经网络架构表现如何？

主要发现

• ESBN在仅经过少量训练样本后，即可实现对新实体的近乎完美规则泛化。
• 在规则归纳任务中，该网络在数据稀缺设置下优于多种竞争性神经网络架构。
• 通过学习过程自然涌现出类似符号的表征，使模型能够从具体实体抽象出通用规则。
• 外部记忆中的绑定机制支持变量绑定与间接寻址，这对神经网络系统中的符号推理至关重要。