[论文解读] Effect of shapes of activation functions on predictability in the echo state network

Hanten Chang, Shinji Nakaoka+1 more|arXiv (Cornell University)|May 22, 2019

Neural Networks and Reservoir Computing参考文献 4被引用 5

一句话总结

本研究探讨了激活函数形状对回声状态网络（ESNs）预测性能的影响，发现非单调且高度非线性的函数（如sinc和墨西哥帽函数）在时间序列预测任务中优于传统的sigmoid和tanh函数。性能提升归因于特定非线性形状带来的状态多样性增强和记忆容量提高。

ABSTRACT

We investigate prediction accuracy for time series of Echo state networks with respect to several kinds of activation functions. As a result, we found that some kinds of activation functions with an appropriate nonlinearity show high performance compared to the conventional sigmoid function.

研究动机与目标

• 研究激活函数形状对回声状态网络（ESNs）预测精度的影响。
• 评估非单调及对称形状的激活函数（如sinc、墨西哥帽）与传统单调函数（如tanh、sigmoid）的性能对比。
• 确定特定非线性形状是否能增强ESN中的状态多样性与记忆容量。
• 在多种时间序列模型（包括混沌系统和NARMA过程）中评估性能表现。
• 通过吸引子重构质量分析，验证所学动力学是否超越点预测的准确性。

提出的方法

• 使用岭回归（正则化参数λ = 10⁻⁸）训练ESNs以估计输出权重Wout。
• 网络状态X(t)通过X(t) = f(Win[1;U(t)] + WX(t-1))演化，其中f为逐元素应用的激活函数。
• 输入信号U(t)通过从N(0, σ²)中随机抽取的权重矩阵Win和W输入储水库，且W的谱半径被调整为0.95。
• 在多个时间序列任务中评估了十种激活函数，包括sinc、墨西哥帽、tanh和线性函数。
• 预测精度通过归一化对数均方误差（logNMSE）衡量，吸引子重构通过延迟坐标法实现，并利用Wasserstein距离度量动力学相似性。
• 开展自由运行预测任务以测试长期记忆能力与动力学保真度，比较预测吸引子与目标吸引子。

实验结果

研究问题

• RQ1 激活函数的形状在ESNs时间序列预测中如何影响预测精度？
• RQ2 与标准sigmoid或tanh函数相比，非单调或对称形状的激活函数（如sinc和墨西哥帽）是否能提升ESN性能？
• RQ3 特定非线性形状在多大程度上增强了储水库的状态多样性与记忆容量？
• RQ4 具有非传统激活函数的ESNs能否更准确地重构混沌时间序列的底层吸引子动力学？
• RQ5 在正常预测与自由运行预测任务之间，不同激活函数的ESN性能表现有何差异？

主要发现

• 在所有测试的时间序列（包括逻辑斯蒂映射、Mackey-Glass方程以及NARMA10/20）中，sinc和墨西哥帽激活函数在正常预测任务中始终优于其他函数。
• 对于Mackey-Glass方程，偶函数（除拉普拉斯外）的表现优于奇函数，表明动力学行为具有形状依赖性。
• 在自由运行预测中，sinc函数的长期预测精度优于tanh，尽管绝对性能低于正常预测，这是由于对初始条件的敏感性所致。
• 通过延迟坐标法进行的吸引子重构显示，使用sinc和tanh函数生成的预测时间序列所对应的吸引子与目标吸引子在Wasserstein度量下显著更接近，优于随机替代数据。
• sinc和墨西哥帽函数性能提升的原因在于其适中的非线性程度与平滑性，从而增强了状态多样性与记忆容量。
• 结果表明，非单调且高度非线性的激活函数形状可同时提升ESN的预测精度与动力学保真度。