[論文レビュー] A neuromorphic hardware architecture using the Neural Engineering Framework for pattern recognition

Runchun Wang, Chetan Singh Thakur+3 more|arXiv (Cornell University)|Jul 21, 2015

Advanced Memory and Neural Computing参考文献 20被引用数 12

ひとこと要約

本稿では、固定小数点演算と時間多重化ニューラルコアを用いてリアルタイムパターン認識を実現する、神経工学フレームワーク（NEF）を活用した神経モルフィックFPGAベースのハードウェアアーキテクチャを提示する。オンライン擬似逆行列重み更新を並列に実装することで、512万桁/秒の速度でMNIST手書き数字認識において96.55％の精度を達成し、多様なパターン認識タスクにおけるスケーラビリティと効率性を示している。

ABSTRACT

We present a hardware architecture that uses the Neural Engineering Framework (NEF) to implement large-scale neural networks on Field Programmable Gate Arrays (FPGAs) for performing pattern recognition in real time. NEF is a framework that is capable of synthesising large-scale cognitive systems from subnetworks. We will first present the architecture of the proposed neural network implemented using fixed-point numbers and demonstrate a routine that computes the decoding weights by using the online pseudoinverse update method (OPIUM) in a parallel and distributed manner. The proposed system is efficiently implemented on a compact digital neural core. This neural core consists of 64 neurons that are instantiated by a single physical neuron using a time-multiplexing approach. As a proof of concept, we combined 128 identical neural cores together to build a handwritten digit recognition system using the MNIST database and achieved a recognition rate of 96.55%. The system is implemented on a state-of-the-art FPGA and can process 5.12 million digits per second. The architecture is not limited to handwriting recognition, but is generally applicable as an extremely fast pattern recognition processor for various kinds of patterns such as speech and images.

研究の動機と目的

• 神経工学フレームワーク（NEF）を用いて、パターン認識のためのスケーラブルでリアルタイムな神経モルフィックハードウェアアーキテクチャを設計すること。
• 固定小数点演算を用いて、効率性とハードウェアのコンactnessを確保するFPGA上での大規模ニューラルネットワークの実装。
• オンライン擬似逆行列更新法（OPIUM）を用いて、並列的かつ分散的なデコーディング重みの計算を可能にすること。
• 時間多重化ニューラルコアアーキテクチャを用いて、高速かつ低面積のパターン認識を実現すること。

提案手法

• 神経計算に固定小数点表現を用いることで、ハードウェア効率性と決定論的動作を確保する。
• 時間多重化技術により、1つの物理的ニューロンで64個の仮想ニューロンをエミュレート可能となり、面積と消費電力を削減する。
• ニューラルコアはNEFフレームワークを実装しており、サブネットワークから構成される認知的システムのモジュラー構築を可能にする。
• デコーディング重みは、オンライン擬似逆行列更新法（OPIUM）を用いて計算され、ニューラルコア全体にわたって並列に更新される。
• 12個の8つの同一のニューラルコアを相互接続し、スケーラブルなパターン認識システムを構築する。
• 最新のFPGAにアーキテクチャをデプロイすることで、高いスループットと低レイテンシを達成する。

実験結果

リサーチクエスチョン

• RQ1 神経工学フレームワーク（NEF）は、コンactなFPGAベースの神経モルフィックアーキテクチャに効果的にマッピング可能か？
• RQ2 固定小数点演算と時間多重化は、制限されたハードウェア上で大規模ニューラルネットワークを効率的にエミュレートできるか？
• RQ3 神経モルフィックシステムにおける分散的・並列的OPIUMベース重み更新機構の性能限界は何か？
• RQ4 提案アーキテクチャは、MNISTのような標準ベンチマークデータセットにおいて、高い精度とスループットを達成できるか？
• RQ5 本システムは、手書き認識を超えて、音声や画像処理などの他のパターン認識タスクへ一般化可能か？

主な発見

• 128個のニューラルコアを用いて、MNIST手書き数字データセットで96.55％の認識精度を達成した。
• アーキテクチャは1秒間に512万桁を処理し、リアルタイムアプリケーションに適した高いスループットを示した。
• 時間多重化の導入により、1つの物理的ニューロンあたり64個の仮想ニューロンを実現し、ハードウェアフットプリントを顕著に削減した。
• オンライン擬似逆行列更新法（OPIUM）は、並列的かつ分散的に成功裏に実装され、適応的重み学習を可能にした。
• スケーラビリティと再利用性が実証され、手書き認識を超えた多様なパターン認識タスクへの応用が可能であると示された。
• 固定小数点実装は、高精度な認識を維持しつつ、ハードウェア効率性を確保した。