[论文解读] How to represent part-whole hierarchies in a neural network

Geoffrey E. Hinton|arXiv (Cornell University)|Feb 25, 2021

Neural Networks and Applications被引用 11

一句话总结

本文提出 GLOM，一种神经网络架构，通过在空间位置间使用相同嵌入向量的岛屿来表示图像中的部分-整体层次结构，从而实现在无需动态权重分配情况下的动态解析。通过结合变换器、胶囊网络、神经场和对比学习，GLOM 利用迭代的自底向上、自顶向下和横向注意力机制，形成稳定且视角不变的表征，显著提升了视觉表征的可解释性。

ABSTRACT

This paper does not describe a working system. Instead, it presents a single idea about representation which allows advances made by several different groups to be combined into an imaginary system called GLOM. The advances include transformers, neural fields, contrastive representation learning, distillation and capsules. GLOM answers the question: How can a neural network with a fixed architecture parse an image into a part-whole hierarchy which has a different structure for each image? The idea is simply to use islands of identical vectors to represent the nodes in the parse tree. If GLOM can be made to work, it should significantly improve the interpretability of the representations produced by transformer-like systems when applied to vision or language

研究动机与目标

• 设计一种神经网络架构，能够根据每张图像的输入动态解析出结构各异的部分-整体层次结构。
• 通过编码结构化、组合性的关系，提升视觉与语言中类似变换器系统的可解释性。
• 通过使用共享的嵌入向量表示解析树中的节点，克服固定神经硬件分配的局限性。
• 利用连续向量空间统一格式塔心理学的场式感知与符号人工智能的结构描述。
• 通过正则化项实现端到端训练，鼓励在每一层级形成连贯、稳定的相似向量岛屿。

提出的方法

• 在每一列中使用堆叠的空间局部自编码器，所有列共享权重，从图像块中学习层次化表征。
• 应用自底向上和自顶向下的神经网络，预测相邻层级的嵌入，将预测结果作为监督信号。
• 在相同层级的相邻列之间应用横向注意力，形成几乎完全相同的嵌入向量岛屿。
• 在每个时间步，将每个嵌入更新为自底向上预测、自顶向下预测、先前嵌入以及横向邻居平均值的加权平均。
• 引入正则化项，最大化预测嵌入与实际嵌入之间的一致性，以促进稳定岛屿的形成。
• 通过掩码图像重建和对比正则化实现端到端训练，以学习层次化结构。

Figure 1: Showing the bottom-up, top-down, and same level interactions among three adjacent levels of the proposed GLOM architecture for a single column . The blue and red arrows representing bottom-up and top-down interactions are implemented by two different neural networks that have several hidde

实验结果

研究问题

• RQ1 如何设计一种固定架构的神经网络，使其能够根据输入图像动态解析出结构各异的部分-整体层次？
• RQ2 是否可以通过相同嵌入向量的岛屿来表示解析树中的节点，而无需分配专用神经元或权重？
• RQ3 如何利用自底向上和自顶向下的预测来引导形成连贯、视角不变的表征？
• RQ4 对比正则化与横向注意力是否能够促进形成稳定、局部化的相似向量簇，使其对应于感知整体？
• RQ5 GLOM 类系统在多大程度上可实现与符号系统相当的可解释性，同时保有深度学习的归纳偏置？

主要发现

• GLOM 架构在每一层级成功形成了明显分离的、几乎完全相同的嵌入向量岛屿，且高层级的岛屿更大，表明部分被连贯地组合为整体。
• 通过横向注意力和正则化预测一致性，相似性岛屿自然形成，无需动态权重分配或显式指针结构。
• 该系统可通过端到端训练实现对缺失区域的图像重建，证明其具备学习有意义层次化表征的能力。
• 该方法通过使用连续向量相似性编码层次关系，统一了格式塔式场式感知与符号式结构描述。
• 该方法通过将结构描述直接嵌入学习到的嵌入连续空间中，避免了神经符号接口的需求。
• 尽管目前尚无实际实现，但设计表明 GLOM 可能能将形状识别泛化到新视角，已在合作测试中得到验证。

Figure 2: A picture of the embeddings at a particular time in six nearby columns. All of the locations shown belong to the same object and the scene level has not yet settled on a shared vector. The complete embedding vector for each location is shown by dividing the vector into a separate section f