[论文解读] Cellular Automata Can Reduce Memory Requirements of Collective-State Computing

Denis Kleyko, E. Paxon Frady+1 more|arXiv (Cornell University)|Oct 7, 2020

Advanced Memory and Neural Computing参考文献 68被引用 18

一句话总结

本文提出使用元胞自动机规则90（CA90）按需生成高维随机向量，用于集体态计算，从而替代存储大量预计算随机模式的需求。通过CA90扩展短种子模式，该方法在保持伪正交性和相似性的同时实现内存节省，在残差计算和向量符号架构中表现出与传统模型相当的性能，且内存使用显著减少。

ABSTRACT

Various non-classical approaches of distributed information processing, such as neural networks, computation with Ising models, reservoir computing, vector symbolic architectures, and others, employ the principle of collective-state computing. In this type of computing, the variables relevant in a computation are superimposed into a single high-dimensional state vector, the collective-state. The variable encoding uses a fixed set of random patterns, which has to be stored and kept available during the computation. Here we show that an elementary cellular automaton with rule 90 (CA90) enables space-time tradeoff for collective-state computing models that use random dense binary representations, i.e., memory requirements can be traded off with computation running CA90. We investigate the randomization behavior of CA90, in particular, the relation between the length of the randomization period and the size of the grid, and how CA90 preserves similarity in the presence of the initialization noise. Based on these analyses we discuss how to optimize a collective-state computing model, in which CA90 expands representations on the fly from short seed patterns - rather than storing the full set of random patterns. The CA90 expansion is applied and tested in concrete scenarios using reservoir computing and vector symbolic architectures. Our experimental results show that collective-state computing with CA90 expansion performs similarly compared to traditional collective-state models, in which random patterns are generated initially by a pseudo-random number generator and then stored in a large memory.

研究动机与目标

• 减少依赖存储大量独立同分布随机向量的集体态计算模型中的内存需求。
• 探究元胞自动机规则90（CA90）是否能够生成保持伪正交性和相似性的分布式表示，从而在功能上等价于标准随机模式。
• 评估在残差计算和向量符号架构等实际模型中，用CA90生成的扩展替代预存储随机模式的可行性。
• 分析CA90的随机化行为，包括周期长度以及在噪声种子存在下的误差传播。

提出的方法

• 通过迭代应用规则，使用CA90将短随机种子模式扩展为全维高维向量。
• 在运行时使用CA90生成分布式表示，而非预先存储，从而实现内存与计算之间的权衡。
• 通过归一化汉明距离（dh）和点积（dd）度量CA90扩展向量之间的相似性，以评估其伪正交性。
• 通过将CA90扩展表示与伪随机数生成器生成的结果进行比较，评估其在残差计算和向量符号架构中的性能。
• 分析CA90的随机化周期作为网格尺寸的函数，特别是其对数论性质（如素性）的依赖性。
• 评估当初始种子模式包含噪声时，CA90扩展中的误差传播情况，重点关注2的幂次（2^j）的步骤。

实验结果

研究问题

• RQ1 CA90的网格尺寸与其随机化周期长度之间存在何种关系？
• RQ2 当初始种子包含噪声或错误时，CA90如何保持表示之间的相似性？
• RQ3 CA90生成的表示能否在集体态计算模型中实现与预存储随机模式的功能等价性？
• RQ4 哪些最优扩展步骤（如2的幂次）可最小化CA90扩展中的误差累积？
• RQ5 网格尺寸的选择（特别是素数与2的幂次）如何影响CA90表示的性能与稳定性？

主要发现

• CA90的随机化周期与网格尺寸密切相关，且依赖于数论性质：素数尺寸的网格产生最长周期，而2的幂次（2^j）网格产生最短周期。
• CA90引入了非均匀的误差传播，其中在2的幂次（2^j）的扩展步骤中误差率最低，因此这些步骤最适于最小化噪声。
• CA90扩展的表示在残差计算和向量符号架构中均保持了足够的伪正交性和相似性，可实现与标准随机模式的功能等价性。
• 使用CA90扩展的集体态模型性能与使用预存储随机模式的模型相当，验证了内存-计算权衡的有效性。
• 该方法通过仅存储短种子模式并利用CA90进行扩展，实现了显著的内存减少，对解码准确率影响极小。
• CA90的使用支持按需生成高维表示，可在无需大内存开销的情况下实现动态且可扩展的集体态计算。