[论文解读] A binary Hopfield network with $1/\log(n)$ information rate and applications to grid cell decoding

Ila Fiete, David J. Schwab+1 more|arXiv (Cornell University)|Jul 22, 2014

Neural Networks and Applications参考文献 14被引用 5

一句话总结

本文提出了一种新型二值霍普菲尔德网络，其信息速率为 $1/\log(n)$，显著优于先前 $1/\sqrt{n}$ 的界限，并将其应用于构建对噪声具有鲁棒性的网格细胞编码神经解码器。该网络采用基于格的解码算法，通过二值神经电路实现，可在小相位偏移下实现精确检索，展示了在大脑中实现纠错神经计算的可扩展解决方案。

ABSTRACT

A Hopfield network is an auto-associative, distributive model of neural memory storage and retrieval. A form of error-correcting code, the Hopfield network can learn a set of patterns as stable points of the network dynamic, and retrieve them from noisy inputs -- thus Hopfield networks are their own decoders. Unlike in coding theory, where the information rate of a good code (in the Shannon sense) is finite but the cost of decoding does not play a role in the rate, the information rate of Hopfield networks trained with state-of-the-art learning algorithms is of the order ${\log(n)}/{n}$, a quantity that tends to zero asymptotically with $n$, the number of neurons in the network. For specially constructed networks, the best information rate currently achieved is of order ${1}/{\sqrt{n}}$. In this work, we design simple binary Hopfield networks that have asymptotically vanishing error rates at an information rate of ${1}/{\log(n)}$. These networks can be added as the decoders of any neural code with noisy neurons. As an example, we apply our network to a binary neural decoder of the grid cell code to attain information rate ${1}/{\log(n)}$.

研究动机与目标

• 设计一种二值霍普菲尔德网络，实现渐近趋于零的解码误差和信息速率 $1/\log(n)$，超越先前 $1/\sqrt{n}$ 的界限。
• 构建一种针对离散网格细胞编码的神经解码器，即使在神经元活动存在噪声的情况下仍能保持高精度。
• 将霍普菲尔德网络作为抗噪声解码器集成到更广泛的神经编码框架中，在保持信息速率的同时提升鲁棒性。
• 证明所提出的网络可使用 $O(N)$ 个神经元和顺序更新实现，从而实现实际的神经实现。

提出的方法

• 该网络基于受 Lenstra 算法启发的格基解码框架构建，用于求解二维空间中的最近向量问题。
• 采用二值神经电路执行二值搜索操作，计算实值投影的最接近整数，从而实现高效的格基约化。
• 解码器使用 $N$ 个神经元，每个神经元计算 $\phi_i(x) = x \mod \lambda_i$，以从网格编码中提取残差信息。
• 网络通过顺序状态更新求解最短基向量问题和最近向量问题，这对于在相位噪声下解码网格编码至关重要。
• 最终输出通过线性变换 $ (y,z) = T^{-1}(\mathbf{p} + \mathbf{c}) $ 获得，其中 $T$ 是由网格编码参数导出的变换矩阵。
• 整个系统被设计为对网格编码中的独立小相位偏移具有鲁棒性，确保在噪声下实现精确解码。

实验结果

研究问题

• RQ1 二值霍普菲尔德网络能否在渐近趋于零的解码错误概率下实现信息速率 $1/\log(n)$？
• RQ2 能否设计一种神经解码器，使网格细胞编码在噪声条件下仍保持有限信息速率和精确解码？
• RQ3 如何使用 $O(N)$ 个神经元的二值神经网络实现基于格的解码算法？
• RQ4 在神经自联想记忆系统中，信息速率与抗噪鲁棒性之间的权衡是什么？
• RQ5 霍普菲尔德网络能否作为即插即用的解码器，增强任意神经编码的鲁棒性而不降低其信息速率？

主要发现

• 所提出的二值霍普菲尔德网络实现了 $1/\log(n)$ 的信息速率，这是首个实现渐近趋于零错误概率的此类结果。
• 该网络能够在网格响应中存在小而独立的相位偏移时，实现对离散网格细胞编码的精确解码。
• 用于网格细胞编码的神经解码器使用 $O(N)$ 个神经元和顺序状态更新构建，支持可扩展实现。
• 解码过程基于通过二值神经网络求解最近向量问题，每一步均通过二值搜索电路实现。
• 即使在神经元存在噪声的情况下，系统仍能保持有限信息速率，且错误概率随 $n$ 增大而趋于零。
• 所提出的框架在信息速率和抗噪鲁棒性方面优于先前的神经解码器，实现了 $1/\log(n)$ 的新基准。