[论文解读] On the Binding Problem in Artificial Neural Networks

Klaus Greff, Sjoerd van Steenkiste+1 more|arXiv (Cornell University)|Dec 9, 2020

Neural Networks and Applications参考文献 353被引用 50

一句话总结

本文认为神经网络在泛化方面存在不足，因为它们无法动态地将分布式信息绑定成类似符号的对象，并提出一个围绕分离、表征和组合的统一框架，以在联结主义模型中解决此绑定问题。

ABSTRACT

Contemporary neural networks still fall short of human-level generalization, which extends far beyond our direct experiences. In this paper, we argue that the underlying cause for this shortcoming is their inability to dynamically and flexibly bind information that is distributed throughout the network. This binding problem affects their capacity to acquire a compositional understanding of the world in terms of symbol-like entities (like objects), which is crucial for generalizing in predictable and systematic ways. To address this issue, we propose a unifying framework that revolves around forming meaningful entities from unstructured sensory inputs (segregation), maintaining this separation of information at a representational level (representation), and using these entities to construct new inferences, predictions, and behaviors (composition). Our analysis draws inspiration from a wealth of research in neuroscience and cognitive psychology, and surveys relevant mechanisms from the machine learning literature, to help identify a combination of inductive biases that allow symbolic information processing to emerge naturally in neural networks. We believe that a compositional approach to AI, in terms of grounded symbol-like representations, is of fundamental importance for realizing human-level generalization, and we hope that this paper may contribute towards that goal as a reference and inspiration.

研究动机与目标

• 论证分布式信息缺乏动态绑定限制了神经网络中符号式实体的形成。
• 提出一个基于分离、表示和组合的统一框架以解决绑定问题。
• 综述神经科学、心理学和机器学习机制，以识别在网络中实现涌现式符号处理的归纳偏差。
• 倡导基于扎根、组合化的表示作为实现神经网络人类水平泛化的路径。

提出的方法

• 通过表示、分离和组成三个方面来定义神经网络中的绑定问题。
• 回顾对象表示，以避免叠加灾难并保持对象特征的分离。
• 讨论强调分离、共通格式和解纠缠的表征格式。
• 探讨包括时间稳定性和不确定性处理在内的表征动态。
• 综述基于槽的对象表示（槽）及其变体（实例槽、序列槽、空间槽）作为实现对象分离与组合性的机制。

实验结果

研究问题

• RQ1 神经网络如何动态绑定分布式信息以形成对象式表示？
• RQ2 哪些归纳偏差与机制使得在联结主义系统中涌现出符号处理？
• RQ3 哪些表示格式与动态有助于实现对对象的稳健分离和灵活组装？
• RQ4 是否有一个统一且内部扎根的框架能够在不使用混合符号模块的情况下提升系统性泛化？

主要发现

• 神经网络因分布式信息动态绑定不足而在系统性泛化方面吃力。
• 围绕分离、表示和组成的统一框架可以指引具备扎根的符号式表示的发展。
• 对象表示必须是可分离的、共享一个共同格式并且解纠缠，以支持灵活推理和泛化。
• 时间动态和不确定性处理对于随时间保持稳定的对象表示至关重要。
• 基于槽的表示提供了实现对象分离的具体方法，分析了各种实例化及权衡。