[论文解读] Comparison between DeepESNs and gated RNNs on multivariate time-series prediction.

Claudio Gallicchio, Alessio Micheli+1 more|arXiv (Cornell University)|Jan 1, 2018

Neural Networks and Reservoir Computing被引用 4

一句话总结

该论文在四个复音音乐任务中对比了深度回声状态网络（DeepESNs）与门控RNN（特别是GRUs和LSTMs）在多变量时间序列预测中的表现。DeepESN在预测准确性和效率方面均表现更优，在四分之三的任务中超越了标准ESN和全训练RNN，且在所有全训练RNN中GRU表现最佳。

ABSTRACT

We propose an experimental comparison between Deep Echo State Networks (DeepESNs) and gated Recurrent Neural Networks (RNNs) on multivariate time-series prediction tasks. In particular, we compare reservoir and fully-trained RNNs able to represent signals featured by multiple time-scales dynamics. The analysis is performed in terms of efficiency and prediction accuracy on 4 polyphonic music tasks. Our results show that DeepESN is able to outperform ESN in terms of prediction accuracy and efficiency. Whereas, between fully-trained approaches, Gated Recurrent Units (GRU) outperforms Long Short-Term Memory (LSTM) and simple RNN models in most cases. Overall, DeepESN turned out to be extremely more efficient than others RNN approaches and the best solution in terms of prediction accuracy on 3 out of 4 tasks.

研究动机与目标

• 评估并比较深度回声状态网络（DeepESNs）与门控RNN在多变量时间序列预测中的性能。
• 评估在处理具有多时间尺度动态特性的信号时，预测准确性与计算效率之间的权衡。
• 确定结合回声状态计算与深度结构的DeepESNs是否在性能上优于GRUs和LSTMs等全训练RNN。
• 分析不同RNN架构（LSTM、GRU和简单RNN）在具有复音音乐模式的复杂时间序列数据上的有效性。

提出的方法

• 本研究采用DeepESNs，其通过堆叠多个具有固定随机初始化权重的储层层，实现分层时间特征提取。
• 门控RNN（包括GRUs和LSTMs）通过时间反向传播进行端到端训练，以学习多变量序列中的长期依赖关系。
• 比较实验在四个复音音乐数据集上进行，每个数据集均代表具有复杂多时间尺度动态特性的时间序列数据。
• 预测准确性采用标准指标衡量（由上下文推断），计算效率通过训练和推理速度进行评估。
• DeepESN中的储层设计旨在保持时间动态特性，同时实现无需完整反向传播的深度表征学习。
• 所有模型均在相同条件下进行训练和测试，以确保不同架构之间的公平比较。

实验结果

研究问题

• RQ1 DeepESN在多变量时间序列任务中是否在预测准确性和计算效率方面均优于标准回声状态网络？
• RQ2 在具有多时间尺度动态特性的多变量时间序列中，门控RNN（GRU、LSTM和简单RNN）的性能如何比较？
• RQ3 DeepESN的深度结构是否有助于捕捉复音音乐序列中的复杂时间模式？
• RQ4 将回声状态计算与深度结构结合的DeepESN是否能在准确性和效率上超越全训练RNN？

主要发现

• 在多变量时间序列任务中，DeepESN在预测准确性和计算效率方面均优于标准ESN。
• 在所有全训练RNN中，GRU在四个任务中的大多数表现最佳，优于LSTM和简单RNN。
• DeepESN在四个复音音乐预测任务中的三个任务中取得了最佳预测准确率。
• 与所有其他基于RNN的方法（包括GRUs和LSTMs）相比，DeepESN表现出显著更高的效率。
• 结果表明，DeepESN是一种在具有复杂时间动态特性的多变量时间序列预测中极为有效的架构。
• 本研究证实，基于储层的深度网络在特定时间序列场景中可与全训练RNN相媲美，甚至更优。