[論文レビュー] Reservoir Computing Hardware with Cellular Automata

Alejandro Morán, Christiam F. Frasser+1 more|arXiv (Cornell University)|Jun 13, 2018

Neural Networks and Reservoir Computing参考文献 25被引用数 7

ひとこと要約

本稿では、エレメントリ・セルラ・オートマトン（ECA）規則を用いた、ハードウェア効率の良いリザボア・コンピューティング（RC）システムを提案する。規則90は、精度と単純さの最適なバランスを実現するため選択された。この手法はXORベースのデジタル回路とシフトレジスタを活用し、FPGA上に低消費電力で高速なRC分類器を実装した。MNISTデータセットで98.08%の精度を達成し、0.02msの遅延と0.289Wの消費電力に留まり、従来のCNNベースのFPGA実装に比べて速度とエネルギー効率で優れている。

ABSTRACT

Elementary cellular automata (ECA) is a widely studied one-dimensional processing methodology where the successive iteration of the automaton may lead to the recreation of a rich pattern dynamic. Recently, cellular automata have been proposed as a feasible way to implement Reservoir Computing (RC) systems in which the automata rule is fixed and the training is performed using a linear regression. In this work we perform an exhaustive study of the performance of the different ECA rules when applied to pattern recognition of time-independent input signals using a RC scheme. Once the different ECA rules have been tested, the most accurate one (rule 90) is selected to implement a digital circuit. Rule 90 is easily reproduced using a reduced set of XOR gates and shift-registers, thus representing a high-performance alternative for RC hardware implementation in terms of processing time, circuit area, power dissipation and system accuracy. The model (both in software and its hardware implementation) has been tested using a pattern recognition task of handwritten numbers (the MNIST database) for which we obtained competitive results in terms of accuracy, speed and power dissipation. The proposed model can be considered to be a low-cost method to implement fast pattern recognition digital circuits.

研究の動機と目的

• 256種のすべてのECA規則が、パターン認識のためのリザボア・コンピューティング（RC）フレームワークにおいて、どの程度の性能を示すかを評価すること。
• デジタル回路実装において、最も精度が高くハードウェア効率の良いECA規則を同定すること。
• FPGA上に、規則90を用いた低消費電力・高速なRCハードウェアシステムを設計・実装し、リアルタイム画像分類を実現すること。
• 提案されたReCAシステムを、従来のCNNベースのFPGA実装と、精度、遅延、消費電力、リソース使用量の観点から比較すること。

提案手法

• RCフレームワークでは、固定されたECA規則（90）をリザボアとして用い、入力信号が自動機械の状態を初期化し、出力層の重みは線形回帰により学習される。
• 規則90はXORゲートとシフトレジスタを用いて実装され、境界条件を固定することで、最小限で高速なデジタル回路を実現している。
• システムはMNIST画像を処理する際、各行および各列に対して規則90を独立して適用し、時空間的リザボア状態を生成する。
• マックスプーリング層により、2×2ピクセルのブロックがその最大値に縮小され、反復処理中に重み付けされ加算され、最終出力を形成する。
• 出力層はソフトマックス回帰を用い、リザボア状態上で線形回帰により学習される。
• システム全体は、8ビット固定小数点精度を採用し、低消費電力および高スループットを最適化した、Altera Cyclone V FPGAに合成されている。

実験結果

リサーチクエスチョン

• RQ1 静的画像入力に対してリザボア・コンピューティングの設定で、どのECA規則が最も高い分類精度を達成するか？
• RQ2 ECAベースのRCのハードウェア複雑性と性能は、FPGA実装における従来のCNNと比べてどうか？
• RQ3 規則90は、デジタル論理回路に効率的に実装可能であり、低消費電力で高速なパターン認識を可能にするか？
• RQ4 提案されたReCAシステムにおいて、反復回数と分類精度のトレードオフはどのようなものか？
• RQ5 精度、遅延、およびエネルギー効率の観点から、提案されたReCAシステムは、最先端のCNNハードウェア実装と比べてどうか？

主な発見

• 規則90は、MNISTの数字認識におけるRCフレームワークで、全256種のECA規則の中で最高の分類精度（98.08%）を達成した。
• ReCAシステムはFPGA上でわずか0.020msの遅延を達成し、多くの従来のCNNベースの実装よりも顕著に高速であった。
• システムの消費電力はたったの0.289Wであり、他のFPGAベースの分類器と比べて顕著なエネルギー効率の向上を示した。
• 実装には22.6KのALMs（FPGAファブリックの20.5%）と40個のDSPブロックしか使用せず、高いリソース効率を示した。
• 提案されたReCAシステムは、パワー・ディレイ・プロダクト（0.00578 mJ）において、いくつかの従来のCNNベースのFPGA実装を上回り、優れたエネルギー効率を実現した。
• 規則90の使用により、セル1つあたり1つのXORゲートで十分な最小限のデジタル回路が実現され、ハードウェア設計の単純化と面積・消費電力の低減が達成された。