[论文解读] Convolutional Neural Associative Memories: Massive Capacity with Noise Tolerance

Amin Karbasi, Amir Hesam Salavati+1 more|arXiv (Cornell University)|Jul 24, 2014

Neural Networks and Applications参考文献 21被引用 3

一句话总结

本文提出一种卷积神经关联记忆框架，通过利用模式中固有的线性冗余，实现指数级存储容量，从而支持大规模数据集的抗噪检索。通过将卷积架构与一种强制稀疏性和子空间约束的迭代学习算法相结合，该模型可纠正线性比例的错误，并随模式尺寸高效扩展。

ABSTRACT

The task of a neural associative memory is to retrieve a set of previously memorized patterns from their noisy versions using a network of neurons. An ideal network should have the ability to 1) learn a set of patterns as they arrive, 2) retrieve the correct patterns from noisy queries, and 3) maximize the pattern retrieval capacity while maintaining the reliability in responding to queries. The majority of work on neural associative memories has focused on designing networks capable of memorizing any set of randomly chosen patterns at the expense of limiting the retrieval capacity. In this paper, we show that if we target memorizing only those patterns that have inherent redundancy (i.e., belong to a subspace), we can obtain all the aforementioned properties. This is in sharp contrast with the previous work that could only improve one or two aspects at the expense of the third. More specifically, we propose framework based on a convolutional neural network along with an iterative algorithm that learns the redundancy among the patterns. The resulting network has a retrieval capacity that is exponential in the size of the network. Moreover, the asymptotic error correction performance of our network is linear in the size of the patterns. We then ex- tend our approach to deal with patterns lie approximately in a subspace. This extension allows us to memorize datasets containing natural patterns (e.g., images). Finally, we report experimental results on both synthetic and real datasets to support our claims.

研究动机与目标

• 设计一种具有指数级大存储容量的神经关联记忆，同时保持抗噪能力。
• 实现模式的在线、流式学习，适用于大规模数据集。
• 将该框架扩展至处理近似位于低维子空间中的自然模式。
• 实现结构化模式的信息论最优存储与纠错性能。

提出的方法

• 采用在空间位置间共享权重的卷积神经网络架构，以利用局部模式冗余。
• 使用受Oja和Kohonen（1988）启发的迭代学习算法，并引入稀疏性约束以增强噪声抑制。
• 通过学习生成矩阵G，使所有模式x = G⊤u位于低维子空间中，从而施加子空间约束。
• 在二分图（模式神经元与约束神经元）中应用类似信念传播的消息传递机制，以在回忆过程中实现纠错。
• 引入超约束节点以建模高阶依赖关系，提升纠错性能。
• 通过鲁棒学习与去噪过程，将模型扩展至近似位于子空间的模式。

实验结果

研究问题

• RQ1 神经关联记忆能否在纠正线性比例错误的同时实现指数级存储容量？
• RQ2 该模型能否以可证明收敛且具有抗噪能力的方式，流式学习模式？
• RQ3 该模型在图像等自然数据上的表现如何，这些数据仅近似具有子空间结构？
• RQ4 此类框架的存储容量与纠错性能的理论极限是什么？能否达到该极限？

主要发现

• 所提出的网络实现了指数级存储容量C = υ^(rn)，其中υ ≥ 2且0 < r < 1，使其可随网络规模扩展。
• 该模型可纠正高达线性比例的错误，其渐近纠错性能与模式尺寸呈线性关系。
• 迭代学习算法成功实现了模式的流式学习，同时保持了稀疏性与子空间结构。
• 在合成数据集与真实数据集上的实验结果证实了其高检索准确率与强噪声鲁棒性。
• 该框架在存储容量与纠错性能方面达到信息论最优，仅相差常数因子。
• 该方法可作为特征提取工具，从结构化数据中学习有意义的低维表示。