[論文レビュー] Effect of shapes of activation functions on predictability in the echo state network

Hanten Chang, Shinji Nakaoka+1 more|arXiv (Cornell University)|May 22, 2019

Neural Networks and Reservoir Computing参考文献 4被引用数 5

ひとこと要約

本研究では、エコー状態ネットワーク（ESN）における活性化関数の形状が予測性能に与える影響を調査し、非単調で高い非線形性を示す関数（例：sinc関数、メキシコ帽関数）が、従来のシグモイド関数やtanh関数よりも時系列予測タスクで優れた性能を発揮することを明らかにした。この改善は、特定の非線形形状に起因する状態の多様性および記憶容量の向上に起因する。

ABSTRACT

We investigate prediction accuracy for time series of Echo state networks with respect to several kinds of activation functions. As a result, we found that some kinds of activation functions with an appropriate nonlinearity show high performance compared to the conventional sigmoid function.

研究の動機と目的

• エコー状態ネットワーク（ESN）における活性化関数の形状が予測精度に与える影響を調査すること。
• 非単調かつ偶関数型の活性化関数（例：sinc、メキシコ帽）を、従来の単調関数（tanh、シグモイド）と比較して評価すること。
• 特定の非線形形状がESNにおける状態の多様性および記憶容量を向上させるかどうかを特定すること。
• カオス的システムおよびNARMAプロセスを含む、さまざまな時系列モデルにおける性能を評価すること。
• 点予測を超えた学習された力学的ダイナミクスの妥当性を検証するため、吸引子再構築の質を分析すること。

提案手法

• 出力重みWoutの推定にはリッジ回帰が用いられ、正則化パrameter λ = 10⁻⁸が使用された。
• ネットワーク状態X(t)は、X(t) = f(Win[1;U(t)] + WX(t-1)) により進化し、fは要素ごとに適用される活性化関数である。
• 入力信号U(t)は、N(0, σ²)に従うランダムな重み行列WinおよびWを用いてレザボアに供給され、Wのスペクトル半径は0.95にスケーリングされた。
• sinc、メキシコ帽、tanh、線形関数を含む10種類の活性化関数が、複数の時系列タスクにおいて評価された。
• 予測精度は、対数正規化平均二乗誤差（logNMSE）を用いて測定され、力学的類似性の評価には遅延座標による吸引子再構築とワーサインシュタイン距離が用いられた。
• 自由走行予測タスクが実施され、長期記憶能力および力学的忠実性が評価され、予測された吸引子とターゲット吸引子が比較された。

実験結果

リサーチクエスチョン

• RQ1 活性化関数の形状は、時系列予測におけるESNの予測精度にどのように影響を与えるか？
• RQ2 sincやメキシコ帽のような非単調または偶関数型の活性化関数は、標準的なシグモイド関数やtanh関数と比較してESNの性能を向上させるか？
• RQ3 特定の非線形形状が、レザボアの状態の多様性および記憶容量をどの程度向上させるか？
• RQ4 非標準的な活性化関数を用いたESNは、カオス的時系列の背後にある吸引子ダイナミクスをより正確に再構築できるか？
• RQ5 さまざまな活性化関数を用いたESNの性能は、通常の予測タスクと自由走行予測タスクの間でどのように異なるか？

主な発見

• sinc関数およびメキシコ帽関数は、ロジスティック写像、Mackey-Glass方程式、NARMA10/20を含む、すべてのテストされた時系列で、他の関数よりも一貫して優れた性能を示した。
• Mackey-Glass方程式においては、偶関数（ラプラス関数を除く）が奇関数よりも優れた性能を示した。これは、ダイナミクスが形状依存であることを示唆している。
• 自由走行予測においては、sinc関数がtanh関数よりも良好な長期的精度を維持したが、初期条件への感受性のため、通常の予測タスクに比べて絶対的な性能は低かった。
• 遅延座標を用いた吸引子再構築の結果、sincおよびtanh関数を用いた予測時系列が、ランダムなサーロンに比べてターゲットにはるかに近い吸引子を生成することが、ワーサインシュタイン距離で確認された。
• sincおよびメキシコ帽関数の優れた性能は、中程度の非線形性と滑らかさのおかげで、状態の多様性および記憶容量が向上するためである。
• 結果から、非単調で高次非線形性を示す活性化関数の形状は、ESNにおける予測精度および力学的忠実性の両方を向上させうることが示唆された。