[論文レビュー] Reservoir Computing using Cellular Automata

Özgür Yılmaz|arXiv (Cornell University)|Oct 1, 2014

Neural Networks and Reservoir Computing参考文献 28被引用数 10

ひとこと要約

本稿では、細胞自動機（CA）をリザボアとして用いる、計算効率の高いリザボア計算フレームワークを提案する。CAの内在的な並列性、低コスト計算、およびブール論理処理の能力を活用し、入力をCAの初期状態に射影して加法的ルールに従って進化させることで、エコー状態ネットワーク（ESNs）と比較して計算量が桁違いに少ない長期間短期記憶を実現するとともに、ビット単位の論理演算によりネイティブな記号処理が可能となる。

ABSTRACT

We introduce a novel framework of reservoir computing. Cellular automaton is used as the reservoir of dynamical systems. Input is randomly projected onto the initial conditions of automaton cells and nonlinear computation is performed on the input via application of a rule in the automaton for a period of time. The evolution of the automaton creates a space-time volume of the automaton state space, and it is used as the reservoir. The proposed framework is capable of long short-term memory and it requires orders of magnitude less computation compared to Echo State Networks. Also, for additive cellular automaton rules, reservoir features can be combined using Boolean operations, which provides a direct way for concept building and symbolic processing, and it is much more efficient compared to state-of-the-art approaches.

研究の動機と目的

• エコー状態ネットワーク（ESNs）と比較して訓練の複雑性を低減する計算効率の高いリザボア計算フレームワークの開発。
• 細胞自動機のブール論理的および加法的性質を活用し、記号処理と概念構築を可能にする。
• 浮動小数点演算をビット単位の論理演算に置き換えることで、高い計算効率とエネルギー効率の向上を実現。
• 従来のRNNリザボアの代替として、普遍的で解析可能かつハードウェアに優れた代替手段としての細胞自動機の可能性を検討。
• 長距離の時系列依存性と特徴拡張を要するタスクにおいて、CAベースのリザボアの実現可能性を示すこと。

提案手法

• 入力を1次元の細胞自動機の初期状態にランダムに射影する。
• 固定された事前定義済みのルール（特に加法的ルール）に従って自動機を時間経過とともに進化させ、リザボア表現としての状態の空間時間的体積を生成する。
• リザボア出力は、時間経過にわたる特定のセルの状態を集積することで得られ、高次元のバイナリ特徴空間を形成する。
• 記号処理のため、ルールのバイナリ性と加法的性質に起因して、リザボア状態に対して直接的にブール演算を適用可能である。
• 読み出し層は、ESNsと同様に標準的な線形手法（例：最小二乗法）を用いて学習されるが、計算コストは著しく低減される。
• ビット単位の論理演算の単純さと局所性に起因して、FPGAおよびGPUによるハードウェア加速が可能である。

実験結果

リサーチクエスチョン

• RQ1 細胞自動機は、長期間短期記憶能力を有する効果的で低複雑性のリザボアとして機能できるか？
• RQ2 CAベースのリザボアは、演算数とエネルギー消費の観点から、従来のESNsと比較してどの程度計算効率が優れているか？
• RQ3 加法的細胞自動機ルールは、ブール演算を通じてどの程度記号処理と概念構築を可能にするか？
• RQ4 リザボアの力学的挙動（例：リャプノフ指数）は、タスク固有の記憶要件に適合するように調整可能か？
• RQ5 入力をCA初期状態にランダムに射影することは、特徴空間の拡張および順序付きタスクにおける性能にどのように影響を与えるか？

主な発見

• CAベースのリザボアフレームワークは、ESNsと比較して演算数で1.5〜3倍の高速化を達成し、浮動小数点演算とビット単位演算の差を考慮すると、ほぼ2桁の改善が得られた。
• 20ビットのタスクでT₀=200の場合、CAフレームワークは1730万回の演算で十分であったのに対し、ESNsでは950万回の演算でしか達成できず、顕著な計算コストの削減が確認された。
• コンセプターがESNsで必要とする180億回以上の浮動小数点演算を回避し、直接的なブール論理によって高価な行列逆行列計算や乗算を排除した。
• 加法的細胞自動機ルールにより、リザボア特徴量をブール演算で直接組み合わせられ、追加の計算コストなしに効率的な記号処理が可能となった。
• FPGAおよびGPUへのハードウェアデプロイメントに非常に適しており、GPUプラットフォームでは最大200倍の高速化が見込まれる。
• ルール選択により、リザボアの力学的挙動（記憶容量やリャプノフ指数など）を調整可能であり、最適な性能を得るためのカオスの縁（edge-of-chaos）動作をサポートする。