[论文解读] Connectionist-Symbolic Machine Intelligence using Cellular Automata based Reservoir-Hyperdimensional Computing

Özgür Yılmaz|arXiv (Cornell University)|Mar 3, 2015

Neural Networks and Reservoir Computing参考文献 79被引用 9

一句话总结

该论文提出了一种新颖的连接主义-符号式机器智能框架，采用细胞自动机（CA）作为超维计算中的储备池。通过将输入投影到CA的初始状态并利用确定性规则演化，该方法生成分布式、高维的特征向量，从而实现高效的长短期记忆、核学习以及通过布尔逻辑进行的符号运算——在计算量较回声状态网络减少数个数量级的情况下，实现了卓越的性能。

ABSTRACT

We introduce a novel framework of reservoir computing, that is capable of both connectionist machine intelligence and symbolic computation. Cellular automaton is used as the reservoir of dynamical systems. Input is randomly projected onto the initial conditions of automaton cells and nonlinear computation is performed on the input via application of a rule in the automaton for a period of time. The evolution of the automaton creates a space-time volume of the automaton state space, and it is used as the reservoir. The proposed framework is capable of long short-term memory and it requires orders of magnitude less computation compared to Echo State Networks. We prove that cellular automaton reservoir holds a distributed representation of attribute statistics, which provides a more effective computation than local representation. It is possible to estimate the kernel for linear cellular automata via metric learning, that enables a much more efficient distance computation in support vector machine framework. Also, binary reservoir feature vectors can be combined using Boolean operations as in hyperdimensional computing, paving a direct way for concept building and symbolic processing.

研究动机与目标

• 开发一种混合连接主义-符号式机器智能框架，统一储备池计算、细胞自动机与超维计算。
• 利用细胞自动机作为动力学储备池，实现长短期记忆与高效计算，且训练量极小。
• 证明CA储备池能够提供属性统计的分布式表征，从而在计算效率与效果上优于局部表征。
• 通过在二值CA特征向量上应用布尔运算，实现符号处理并支持概念构建。
• 在保持或提升顺序与分类任务性能的同时，显著降低计算成本，相较于传统回声状态网络具有优势。

提出的方法

• 将输入数据随机投影到细胞自动机的初始状态，通过固定规则（如规则90或110）随时间演化，生成状态的时空体积。
• 演化状态序列形成高维储备池特征向量，表征输入属性的分布式统计信息。
• 采用伪逆回归训练读出层，实现分类与序列预测，计算量极小。
• 针对核学习，对线性CA储备池应用度量学习，以估计支持向量机的高效距离度量。
• 对二值CA特征向量应用布尔运算（如异或、与），实现符号处理与概念形成。
• 通过按类别对CA特征向量进行符号化向量加法取平均，构建概念器（Conceptor），实现基于最大内积相似度的分类。

实验结果

研究问题

• RQ1 细胞自动机能否作为具备长短期记忆能力的、低复杂度的有效储备池，用于连接主义机器智能？
• RQ2 CA储备池中属性统计的分布式表征是否在计算效率与准确性上优于局部表征？
• RQ3 度量学习能否有效应用于线性细胞自动机，以实现在支持向量机中高效计算核函数？
• RQ4 对二值CA特征向量执行布尔运算，在多大程度上能够支持符号处理与概念构建？
• RQ5 CA基储备池能否在显著降低计算成本的同时，实现与回声状态网络相当或更优的性能？

主要发现

• CA储备池框架在顺序任务（如5位与20位记忆任务）中，计算量较回声状态网络减少数个数量级，同时保持了强劲的性能表现。
• CA储备池中属性统计的分布式表征在计算效率上优于局部表征，该结论在对比实验中得到验证。
• 度量学习使支持向量机中的核计算更加高效，显著降低了CA框架中的距离计算成本。
• 对二值CA特征向量执行布尔运算可实现直接的符号处理，支持概念形成与逻辑推理。
• 在MNIST数据集上，CA方法实现了具有竞争力的分类准确率，同时计算复杂度显著降低。
• 在CIFAR-10实验中，基于二值化神经激活提取的CA特征在使用线性与RBF支持向量机时，取得了高分类准确率；概念器分类方法在20次试验中均表现出色。