[論文レビュー] Reservoir Computing Using Non-Uniform Binary Cellular Automata

Stefano Nichele, Magnus S. Gundersen|arXiv (Cornell University)|Feb 13, 2017

Neural Networks and Reservoir Computing参考文献 20被引用数 6

ひとこと要約

本稿では、非一様な2値細胞自動機（CA）をリザボアとして用いる、画期的なリザボアコンピューティングフレームワークを提案している。並列的かつ緩く結合されたCAリザボアが、多様なルールを組み合わせることで性能が顕著に向上することを示している。特に、補完的またはミラー対称でないルールの組み合わせが、順序付きタスクにおける分類精度を向上させ、最適化された設定を用いることで5ビットタスクで最大100%の成功を達成している。

ABSTRACT

The Reservoir Computing (RC) paradigm utilizes a dynamical system, i.e., a reservoir, and a linear classifier, i.e., a read-out layer, to process data from sequential classification tasks. In this paper the usage of Cellular Automata (CA) as a reservoir is investigated. The use of CA in RC has been showing promising results. In this paper, selected state-of-the-art experiments are reproduced. It is shown that some CA-rules perform better than others, and the reservoir performance is improved by increasing the size of the CA reservoir itself. In addition, the usage of parallel loosely coupled CA-reservoirs, where each reservoir has a different CA-rule, is investigated. The experiments performed on quasi-uniform CA reservoir provide valuable insights in CA reservoir design. The results herein show that some rules do not work well together, while other combinations work remarkably well. This suggests that non-uniform CA could represent a powerful tool for novel CA reservoir implementations.

研究の動機と目的

• 細胞自動機をリザボアとして用いるリザボアコンピューティング（RC）システムの実現可能性と性能を調査すること。
• 異なるCAルールが順序付き分類タスクにおけるリザボア性能に与える影響を評価すること。
• リザボアのサイズとアーキテクチャが分類精度に与える影響を調査すること。
• 複数のCAルールを並列的に組み合わせた非一様リザボア構成における有効性を分析すること。
• ルールの相性とダイナミクスに基づいた、高性能な非一様CAリザボアの設計原則を同定すること。

提案手法

• 1次元の非一様2値細胞自動機をリザボアとして用いる、完全に機能するリザボアコンピューティングシステムを実装すること。
• 標準ベンチマークタスク（例：5ビットタスク）の固定セットを用いて、異なるCAルール設定における性能を評価すること。
• 線形重みが学習済みのリーダウト層を用いて、CAリザボアからの出力を分類するが、リザボアの重みは学習しないこと。
• 単一CAリザボアと、異なるCAルール（例：ルール90＋165）で構成される並列的かつ緩く結合されたリザボアをテストすること。
• 周期的で制御されたパラメータとノイズ成分を含む時系列入力パターンを用いて、記憶能力とダイナミカルな複雑性を評価すること。
• タイムステップ図を用いてリザボアのダイナミクスを可視化し、ルール間の相互作用を分析し、性能を低下させるパターン（例：有効サイズが低下する黒領域）を同定すること。

実験結果

リサーチクエスチョン

• RQ1 単一リザボアReCAシステムにおいて、どの個々のCAルールが最も高い性能を示すか？
• RQ2 ReCAシステムにおけるリザボアサイズの増加が分類精度に与える影響は何か？
• RQ3 並列リザボアにおける特定のCAルールの組み合わせが、個々のルールよりも顕著に優れた性能を示すか？
• RQ4 ルール同士の関係（例：補完性、ミラー対称性）がルールの組み合わせの成功に果たす役割は何か？
• RQ5 非一様CAリザボアは、一様または単一ルールリザボアを上回る性能を順序付き分類タスクで示せるか？

主な発見

• ルール90は、リザボアサイズ320（I=4, R=8, C=10）で5ビットタスクにおいて100%の分類精度を達成し、最小限の設定で優れた性能を示した。
• ルール90とルール165の組み合わせは、全テスト設定で100%の成功率を示し、補完的ルール同士の強い相乗効果を示した。
• ルール153と195のペアは、リザボア中央部に「黒領域」が形成されることで顕著な性能低下を引き起こし、有効サイズが著しく低下した。
• ルール165とルール180の組み合わせは、I=4, R=8, C=10で96.9%の精度を達成し、最適でないルールペアでも高い性能を示した。
• ルール105は、補完的またはミラー補完のないルールと組み合わせても優れた性能を示したが、これは特異なダイナミクス的性質を示唆している。
• 本研究は、非一様CAリザボア（特に非ミラー対称で補完的なルールを組み合わせたもの）が、ReCAの性能を顕著に向上させられることを確認した。また、より広範なタスクへの一般化可能性も示唆している。