[论文解读] Coordination Among Neural Modules Through a Shared Global Workspace

Anirudh Goyal, Aniket Didolkar+8 more|arXiv (Cornell University)|Mar 1, 2021

Ferroelectric and Negative Capacitance Devices参考文献 51被引用 17

一句话总结

本文提出一种带宽受限的共享全局工作区，用于协调模块化神经网络，使专家网络能够竞争注意力并广播整合表征。该方法通过强制执行选择性、一致的通信，提升了视觉推理任务的性能，在目标追踪、物理推理和Atari游戏迁移学习中优于成对注意力机制。

ABSTRACT

Deep learning has seen a movement away from representing examples with a monolithic hidden state towards a richly structured state. For example, Transformers segment by position, and object-centric architectures decompose images into entities. In all these architectures, interactions between different elements are modeled via pairwise interactions: Transformers make use of self-attention to incorporate information from other positions; object-centric architectures make use of graph neural networks to model interactions among entities. However, pairwise interactions may not achieve global coordination or a coherent, integrated representation that can be used for downstream tasks. In cognitive science, a global workspace architecture has been proposed in which functionally specialized components share information through a common, bandwidth-limited communication channel. We explore the use of such a communication channel in the context of deep learning for modeling the structure of complex environments. The proposed method includes a shared workspace through which communication among different specialist modules takes place but due to limits on the communication bandwidth, specialist modules must compete for access. We show that capacity limitations have a rational basis in that (1) they encourage specialization and compositionality and (2) they facilitate the synchronization of otherwise independent specialists.

研究动机与目标

• 解决深度学习架构中功能专业化神经模块的协调问题。
• 在不依赖成对交互的前提下，提升模块间表征的一致性与整合性。
• 探究有限通信带宽如何促进模块化网络中的专业化与组合性。
• 通过中心化、瓶颈化的通信机制，实现更好的泛化与迁移学习能力。
• 通过可微分、端到端训练，弥合经典模块化AI架构与现代深度学习之间的鸿沟。

提出的方法

• 共享全局工作区作为带宽受限的通信通道，专家模块在此竞争写入信息。
• 专家模块在独立处理输入后，基于相关性选择性地向工作区写入信息。
• 更新后的工作区内容被广播至所有专家，实现网络中各部分的同步更新。
• 系统使用可微分注意力机制，支持整个架构的基于梯度的训练。
• 工作区的有限容量强制执行选择性注意力，促进高效且一致的信息共享。
• 该架构被应用于SCOFF和RIMs等模型，共享工作区注意力替代或补充标准自注意力机制。

实验结果

研究问题

• RQ1 模块化神经网络如何在不依赖成对交互的前提下实现一致且整合的表征？
• RQ2 有限通信带宽在促进神经专家之间的专业化与协调中起到何种作用？
• RQ3 与标准自注意力相比，共享工作区能否提升视觉推理与物理预测任务的性能？
• RQ4 在Atari游戏等多环境设置中，共享工作区机制是否能增强迁移学习能力？
• RQ5 共享工作区中的槽位数量如何影响模型性能与泛化能力？

主要发现

• 在5个工作区槽位下，共享工作区模型在弹跳小球任务中达到0.915的调整兰德指数（ARI），显著优于无共享工作区的SCOFF模型（ARI：0.276）。
• 在5个工作区槽位下，模型将均方误差（MSE）降低至0.035，相比SCOFF的0.083 MSE改善了58%。
• 当工作区槽位数超过5个时，性能出现下降，验证了带宽受限通信的优势。
• 在Atari游戏中，经共享工作区增强的RIMs在游戏A上的中位性能比为1.13，在游戏B上为1.11，表明前向迁移能力提升且后向干扰减少。
• 该模型在视觉推理基准测试中，对关系性与非关系性问题均收敛更快，且性能优于基线模型。
• 共享工作区通过选择性广播，使注意力聚焦于相关实体，从而实现更优的对象分离与一致的物理推理。