[论文解读] Deep Reservoir Computing Using Cellular Automata

Stefano Nichele, Andreas Molund|arXiv (Cornell University)|Mar 8, 2017

Neural Networks and Reservoir Computing被引用 11

一句话总结

该论文提出了一种基于元胞自动机（CA）作为储层底物的深度储层计算框架，表明两层CA架构在5位记忆任务上的性能显著优于单层CA储层。该系统利用CA的内在动力学实现时间处理，并通过分层处理将预测准确率最高提升53.4%，验证了基于深度CA的储层在高效时间计算方面的潜力。

ABSTRACT

Recurrent Neural Networks (RNNs) have been a prominent concept within artificial intelligence. They are inspired by Biological Neural Networks (BNNs) and provide an intuitive and abstract representation of how BNNs work. Derived from the more generic Artificial Neural Networks (ANNs), the recurrent ones are meant to be used for temporal tasks, such as speech recognition, because they are capable of memorizing historic input. However, such networks are very time consuming to train as a result of their inherent nature. Recently, Echo State Networks and Liquid State Machines have been proposed as possible RNN alternatives, under the name of Reservoir Computing (RC). RCs are far more easy to train. In this paper, Cellular Automata are used as reservoir, and are tested on the 5-bit memory task (a well known benchmark within the RC community). The work herein provides a method of mapping binary inputs from the task onto the automata, and a recurrent architecture for handling the sequential aspects of it. Furthermore, a layered (deep) reservoir architecture is proposed. Performances are compared towards earlier work, in addition to its single-layer version. Results show that the single CA reservoir system yields similar results to state-of-the-art work. The system comprised of two layered reservoirs do show a noticeable improvement compared to a single CA reservoir. This indicates potential for further research and provides valuable insight on how to design CA reservoir systems.

研究动机与目标

• 探索将元胞自动机作为储层计算中时间任务的物理储层底物的可行性。
• 研究将多个CA储层堆叠（深度架构）是否能提升计算性能，相较于单个CA储层。
• 评估不同CA规则和系统参数对记忆任务准确率的影响。
• 将所提出的CA基储层系统性能与当前最先进的储层计算方法进行比较。
• 分析序列处理和输入映射在CA储层动力学中的作用。

提出的方法

• 使用可配置规则（如规则90、150、165）和输入尺寸（I, R）的二值元胞自动机实现单层CA储层。
• 设计循环架构以处理序列输入，通过在每个时间步集成新输入信号，采用非XOR加法方法避免过早进入吸引子状态。
• 引入两层储层架构，将第一层CA储层的输出作为第二层CA储层的输入，实现分层处理。
• 通过预定义的映射策略将输入信号映射到CA网格上，以5位记忆任务作为基准测试。
• 训练线性回归读出层，基于储层状态预测正确输出，性能通过预测准确率衡量。
• 在多种CA规则、网格尺寸（I, R）和干扰周期下评估系统鲁棒性与可扩展性。

实验结果

研究问题

• RQ1 元胞自动机能否作为储层计算中时间任务的有效储层底物？
• RQ2 将两层CA储层堆叠（深度架构）是否能带来相对于单层CA储层的可测量性能提升？
• RQ3 哪些CA规则和系统配置（如规则165，(I,R) = (4,4)）在5位记忆任务中带来最高性能增益？
• RQ4 输入映射方式和循环集成方法的选择如何影响系统稳定性和准确率？
• RQ5 两层CA储层能否纠正第一层的误判？若能，在何种条件下实现？

主要发现

• 单层CA储层在5位记忆任务上的性能与当前最先进的储层计算系统相当。
• 两层CA储层系统相较于单层系统表现出明显改进，最高提升达53.42%（规则165，(I,R) = (4,4)）。
• 规则165在所有配置中表现出最高平均提升，预测准确率平均提高21.71%。
• 第二层储层能够纠正第一层在干扰周期内进入稳定吸引子状态时的误判。
• 在规则90、(I,R) = (8,8)条件下，双层储层系统实现100%准确率，性能与单层系统最佳表现相当，但鲁棒性更强。
• 结果表明，深度CA基储层在可扩展、低复杂度的时间计算方面具有强大潜力，尤其当避免使用基于XOR的集成方法以防止过早收敛时。