[論文レビュー] Deep Reservoir Computing Using Cellular Automata

Stefano Nichele, Andreas Molund|arXiv (Cornell University)|Mar 8, 2017

Neural Networks and Reservoir Computing被引用数 11

ひとこと要約

本論文は、細胞自動機（CA）をリザボア・サブストレートとして用いたディープリザボアコンピューティングフレームワークを提案し、5ビットメモリタスクにおいて、単層CAリザボアに比べて2層CAアーキテクチャが顕著な性能向上を示すことを実証している。このシステムはCAの内在的ダイナミクスを活用して時系列処理を実現し、階層的処理により予測精度が最大53.4%向上し、低コストな時系列計算のためのディープCAベースリザボアの可能性を裏付けている。

ABSTRACT

Recurrent Neural Networks (RNNs) have been a prominent concept within artificial intelligence. They are inspired by Biological Neural Networks (BNNs) and provide an intuitive and abstract representation of how BNNs work. Derived from the more generic Artificial Neural Networks (ANNs), the recurrent ones are meant to be used for temporal tasks, such as speech recognition, because they are capable of memorizing historic input. However, such networks are very time consuming to train as a result of their inherent nature. Recently, Echo State Networks and Liquid State Machines have been proposed as possible RNN alternatives, under the name of Reservoir Computing (RC). RCs are far more easy to train. In this paper, Cellular Automata are used as reservoir, and are tested on the 5-bit memory task (a well known benchmark within the RC community). The work herein provides a method of mapping binary inputs from the task onto the automata, and a recurrent architecture for handling the sequential aspects of it. Furthermore, a layered (deep) reservoir architecture is proposed. Performances are compared towards earlier work, in addition to its single-layer version. Results show that the single CA reservoir system yields similar results to state-of-the-art work. The system comprised of two layered reservoirs do show a noticeable improvement compared to a single CA reservoir. This indicates potential for further research and provides valuable insight on how to design CA reservoir systems.

研究の動機と目的

• 時系列タスクにおけるリザボアコンピューティングの物理的リザボア・サブストレートとして細胞自動機（CA）を用いる可能性を検討すること。
• 複数のCAリザボアをスタック（ディープアーキテクチャ）することで、単一のCAリザボアに比べて計算性能が向上するかどうかを調査すること。
• 異なるCAルールおよびシステムパラメータがメモリタスクの精度に与える影響を評価すること。
• 提案されたCAベースリザボアシステムの性能を、最先端のリザボアコンピューティング手法と比較すること。
• 順次処理および入力マッピングがCAリザボアダイナミクスに果たす役割を分析すること。

提案手法

• 単層CAリザボアは、設定可能なルール（例：ルール90、150、165）および入力次元（I、R）を有する2値細胞自動機を用いて実装された。
• 逐次入力を処理するための再帰的アーキテクチャが設計され、各タイムステップで新しい入力信号を統合し、早期に吸引状態に陥るのを避けるためにXORを用いない加算法が採用された。
• 2層リザボアアーキテクチャが導入され、1番目のCAリザボアの出力を2番目のCAリザボアの入力として供給することで、階層的処理が可能となった。
• 入力信号は事前に定義されたマッピング戦略に従ってCAグリッドにマッピングされ、5ビットメモリタスクがベンチマークとして用いられた。
• 線形回帰リードアウト層が訓練され、リザボア状態に基づいて正しい出力を予測するもので、性能は予測精度で測定された。
• システムは、さまざまなCAルール、グリッドサイズ（I、R）、およびドレインカーパーリング期間を用いて評価され、耐障害性およびスケーラビリティが検証された。

実験結果

リサーチクエスチョン

• RQ1 細胞自動機（CA）は、時系列タスクにおけるリザボアコンピューティングの有効なリザボア・サブストレートとして機能できるか？
• RQ2 2つのCAリザボアをスタック（ディープアーキテクチャ）することで、単一のCAリザボアに比べて測定可能な性能向上が得られるか？
• RQ3 どのCAルールおよびシステム構成（例：ルール165、(I,R) = (4,4)）が5ビットメモリタスクで最も高い性能向上をもたらすか？
• RQ4 入力マッピングおよび再帰的統合手法の選択が、システムの安定性および精度にどのように影響するか？
• RQ5 2層CAリザボアは、1段目の層が誤予測をした場合にそれを是正できるか？その条件は何か？

主な発見

• 単層CAリザボアは、5ビットメモリタスクにおいて、最先端のリザボアコンピューティングシステムと同等の性能を達成した。
• 2層CAリザボアシステムは単層システムに比べ顕著な向上を示し、特にルール165、(I,R) = (4,4)の条件下で最大53.42%の向上を記録した。
• ルール165は、全構成において平均で最大の向上を示し、予測精度の平均で21.71%の向上を達成した。
• 2番目のリザボアは、ドレインカーパーリング期間中に1段目のリザボアが安定な吸引状態に達した場合に、誤予測を是正した。
• 2層リザボアを備えたシステムは、ルール90、(I,R) = (8,8)の条件下で100%の精度を達成し、単層システムの最高性能に匹敵するが、より高い耐障害性を示した。
• 結果から、ディープCAベースリザボアは、XORベースの統合を避けることで早期収束を防ぎ、スケーラブルで低複雑性な時系列計算に強く適している可能性が示唆された。