[论文解读] A Biologically Inspired Visual Working Memory for Deep Networks

Ethan Harris, Mahesan Niranjan+1 more|arXiv (Cornell University)|Jan 9, 2019

Visual Attention and Saliency Detection参考文献 35被引用 4

一句话总结

本文提出了一种受生物学启发的视觉工作记忆模块——STAWM（短期注意力工作记忆），该模块采用Hebb-Rosenblatt记忆机制，通过转换注意力存储并更新潜在表征。该模型在MNIST和CIFAR-10上实现了具有竞争力的分类准确率，能够实现无监督图像重建并生成解耦的部件化表征，同时提供可解释的视觉草图板，揭示模型推理过程。

ABSTRACT

The ability to look multiple times through a series of pose-adjusted glimpses is fundamental to human vision. This critical faculty allows us to understand highly complex visual scenes. Short term memory plays an integral role in aggregating the information obtained from these glimpses and informing our interpretation of the scene. Computational models have attempted to address glimpsing and visual attention but have failed to incorporate the notion of memory. We introduce a novel, biologically inspired visual working memory architecture that we term the Hebb-Rosenblatt memory. We subsequently introduce a fully differentiable Short Term Attentive Working Memory model (STAWM) which uses transformational attention to learn a memory over each image it sees. The state of our Hebb-Rosenblatt memory is embedded in STAWM as the weights space of a layer. By projecting different queries through this layer we can obtain goal-oriented latent representations for tasks including classification and visual reconstruction. Our model obtains highly competitive classification performance on MNIST and CIFAR-10. As demonstrated through the CelebA dataset, to perform reconstruction the model learns to make a sequence of updates to a canvas which constitute a parts-based representation. Classification with the self supervised representation obtained from MNIST is shown to be in line with the state of the art models (none of which use a visual attention mechanism). Finally, we show that STAWM can be trained under the dual constraints of classification and reconstruction to provide an interpretable visual sketchpad which helps open the 'black-box' of deep learning.

研究动机与目标

• 开发一种将短期记忆与视觉注意力整合到深度网络中的受生物学启发的视觉工作记忆。
• 使深度网络能够通过顺序瞥视和记忆更新学习解耦的、基于部件的表征。
• 创建一种可解释的视觉草图板，揭示模型‘看到’的内容及其做出特定预测的原因。
• 证明记忆增强的注意力机制可超越效率提升，实现仅靠注意力无法达成的功能。
• 探索在共享记忆表征下对分类和重建任务进行联合训练。

提出的方法

• Hebb-Rosenblatt记忆被实现为神经网络层的权重空间，其中突触可塑性通过Hebb学习规则建模。
• 采用转换注意力生成顺序瞥视，每次瞥视通过空间变换进行转换，以模拟姿态变化。
• 模型采用可微分的记忆更新机制，支持通过记忆状态的反向传播，实现端到端训练。
• 应用伯努利采样方法在每次瞥视时生成显式的注意力掩码，支持无监督重建与分割。
• STAWM模型通过加权损失之和联合优化分类与重建任务，实现在不同任务间共享记忆表征。
• 图像重建的画布逐步更新，每次瞥视均对潜在表征进行细化，逐步逼近完整图像。

实验结果

研究问题

• RQ1 受生物学启发的视觉工作记忆是否能超越注意力效率，进一步提升深度网络性能？
• RQ2 记忆机制是否能实现无监督地分离图像中前景与背景？
• RQ3 记忆表征是否可用于生成反映模型推理过程的可解释视觉草图？
• RQ4 在分类与重建任务上进行联合训练是否能带来更好的泛化能力与更鲁棒的表征？
• RQ5 通过瞥视逐步更新潜在画布的过程，是否反映了人类视觉处理的机制？

主要发现

• 在MNIST上，STAWM模型在联合训练分类与重建任务时，测试分类误差达到1.0%，表现出强劲性能。
• 在CIFAR-10上，模型实现了具有竞争力的分类准确率，显著优于以往仅使用注意力的模型。
• 在CelebA数据集上的无监督图像重建中，模型优先绘制显著的面部特征，生成可分离的部件化表征，实现人脸与背景的分离。
• 最后一眼的注意力掩码与真实图像相乘后，可揭示学习到的显著性，表明具备无监督分割能力。
• 对于分类错误的样本，绘制的画布往往更像预测类别而非真实目标，表明草图板真实反映了模型的内部推理过程。
• 模型通过记忆层对不同查询进行投影的能力，使得单一共享的、可解释的潜在空间可支持多种任务（如分类、重建）。