[論文レビュー] Cellular Automata Can Reduce Memory Requirements of Collective-State Computing

Denis Kleyko, E. Paxon Frady+1 more|arXiv (Cornell University)|Oct 7, 2020

Advanced Memory and Neural Computing参考文献 68被引用数 18

ひとこと要約

本稿では、集団状態計算において、大規模な事前計算済みランダムパターンの保存を回避するため、基本的セルオートマトン規則90（CA90）を用いて、必要に応じて高次元ランダムベクトルを生成することを提案する。短いシードパターンをCA90で拡張することで、メモリ使用量を削減しつつ、擬似直交性および類似性を維持する。リザボア計算およびベクトル記号的アーキテクチャにおいて、従来のモデルと同等の性能を達成しつつ、顕著に低いメモリ使用量を実現した。

ABSTRACT

Various non-classical approaches of distributed information processing, such as neural networks, computation with Ising models, reservoir computing, vector symbolic architectures, and others, employ the principle of collective-state computing. In this type of computing, the variables relevant in a computation are superimposed into a single high-dimensional state vector, the collective-state. The variable encoding uses a fixed set of random patterns, which has to be stored and kept available during the computation. Here we show that an elementary cellular automaton with rule 90 (CA90) enables space-time tradeoff for collective-state computing models that use random dense binary representations, i.e., memory requirements can be traded off with computation running CA90. We investigate the randomization behavior of CA90, in particular, the relation between the length of the randomization period and the size of the grid, and how CA90 preserves similarity in the presence of the initialization noise. Based on these analyses we discuss how to optimize a collective-state computing model, in which CA90 expands representations on the fly from short seed patterns - rather than storing the full set of random patterns. The CA90 expansion is applied and tested in concrete scenarios using reservoir computing and vector symbolic architectures. Our experimental results show that collective-state computing with CA90 expansion performs similarly compared to traditional collective-state models, in which random patterns are generated initially by a pseudo-random number generator and then stored in a large memory.

研究の動機と目的

• 大規模なi.i.d.ランダムベクトルのセットを保存する必要がある集団状態計算モデルにおけるメモリ要件を低減すること。
• セルオートマトン規則90（CA90）が、標準的なランダムパターンと同等の機能的等価性を保つために、擬似直交性および類似性を維持する分散表現を生成できるかどうかを調査すること。
• リザボア計算やベクトル記号的アーキテクチャなどの実用的モデルにおいて、事前に保存されたランダムパターンをCA90で生成された拡張表現に置き換える可能性を評価すること。
• ノイズを含むシードの影響を受ける状況下での、CA90のランダム化行動（周期長および誤差伝播）を分析すること。

提案手法

• 規則90を繰り返し適用することで、短いランダムシードパターンを高次元ベクトルに拡張するCA90の使用。
• 事前に保存するのではなく、必要に応じてCA90を用いて分散表現をオンザフライ生成することで、メモリと計算のトレードオフを実現する。
• 正規化ハミング距離（dh）およびドット積（dd）を用いて、CA90で拡張されたベクトル間の類似性を測定し、擬似直交性を評価する。
• リザボア計算およびベクトル記号的アーキテクチャにおける性能を、疑似乱数生成器から得た表現と比較することで評価する。
• 特に数論的性質（素数性など）に依存するグリッドサイズの関数として、CA90のランダム化周期を分析する。
• 初期シードパターンにノイズが含まれる場合の誤差伝播を評価し、特に2のべき乗（2^j）のステップに注目する。

実験結果

リサーチクエスチョン

• RQ1 CA90のグリッドサイズとそのランダム化周期の長さの関係は何か？
• RQ2 初期シードにノイズや誤差が含まれる場合、CA90は表現間の類似性をどのように維持するか？
• RQ3 CA90で生成された表現は、集団状態計算モデルにおいて、事前に保存されたランダムパターンと機能的に同等の性能を達成できるか？
• RQ4 誤差蓄積を最小限に抑えるために最適な拡張ステップ（例：2のべき乗）は何か？
• RQ5 特に素数サイズと2のべき乗サイズの選択が、CA90ベースの表現の性能および安定性に与える影響は何か？

主な発見

• CA90のランダム化周期はグリッドサイズに強く関連しており、数論的性質（素数性など）に依存する：素数サイズのグリッドでは最長の周期が得られ、2のべき乗（2^j）では最短の周期が得られる。
• CA90は非一様な誤差伝播を示し、誤差率が最も低いのは2のべき乗（2^j）の拡張ステップで観察される。これはノイズを最小限に抑えるために最適であることを示唆する。
• CA90で拡張された表現は、リザボア計算およびベクトル記号的アーキテクチャの両方において、十分な擬似直交性および類似性を維持しており、標準的なランダムパターンと同等の機能的等価性を達成している。
• CA90による拡張を用いた集団状態モデルの性能は、事前に保存されたランダムパターンを使用するモデルと同等であり、メモリと計算のトレードオフが有効であることが検証された。
• 短いシードパターンを保存してCA90で拡張することで、デコーディング精度にほとんど影響を与えることなく顕著なメモリ削減が可能である。
• CA90を用いることで、高次元表現を必要に応じて生成でき、大規模なメモリオーバーヘッドなしに動的かつスケーラブルな集団状態計算を実現できる。