[論文レビュー] INsight: A Neuromorphic Computing System for Evaluation of Large Neural Networks

Jaeyong Chung, Taehwan Shin+1 more|arXiv (Cornell University)|Aug 5, 2015

Advanced Memory and Neural Computing参考文献 16被引用数 11

ひとこと要約

この論文では、低ランク近似による重みの圧縮と、FPGA へのスパースに接続された時定数遅延ニューラルネットワーク（TDNN）のマッピングにより、大規模ニューラルネットワークのエネルギー効率の良い推論を可能にする神経形状コンピューティングシステムであるINsightを提示する。このシステムは、すべての重みをオンチップに格納することで外部メモリを排除し、非フォン・ノイマン型で低消費電力の動作を実現し、MNIST で 97.64% の精度を達成した。

ABSTRACT

Deep neural networks have been demonstrated impressive results in various cognitive tasks such as object detection and image classification. In order to execute large networks, Von Neumann computers store the large number of weight parameters in external memories, and processing elements are timed-shared, which leads to power-hungry I/O operations and processing bottlenecks. This paper describes a neuromorphic computing system that is designed from the ground up for the energy-efficient evaluation of large-scale neural networks. The computing system consists of a non-conventional compiler, a neuromorphic architecture, and a space-efficient microarchitecture that leverages existing integrated circuit design methodologies. The compiler factorizes a trained, feedforward network into a sparsely connected network, compresses the weights linearly, and generates a time delay neural network reducing the number of connections. The connections and units in the simplified network are mapped to silicon synapses and neurons. We demonstrate an implementation of the neuromorphic computing system based on a field-programmable gate array that performs the MNIST hand-written digit classification with 97.64% accuracy.

研究の動機と目的

• 大規模ニューラルネットワークの評価におけるフォン・ノイマンアーキテクチャの高コストなエネルギー消費と処理のボトル neck を解決すること。
• すべての重みパラメータをオンチップに格納することで、外部メモリアクセスを排除する神経形状システムを設計すること。
• FPGA ベースの神経形状ハードウェアを用いて、効率的で低消費電力のディープニューラルネットワーク推論を可能にすること。
• 低ランク近似とTDNN変換により、モデルパラメータを大幅に削減しながらも高い分類精度を維持すること。
• コンパイラーからマイクロアーキテクチャまでを統合した完全な神経形状スタックを、推論ワークロードに特化して実装すること。

提案手法

• コンパイラーがトレーニング済みの順方向ネットワークを、接続性とパラメータ数を削減したスパースに接続された時定数遅延ニューラルネットワーク（TDNN）に分解する。
• 重み行列の圧縮を低ランク近似を用いて行い、精度損失を最小限に抑えつつオンチップ格納を可能にする。
• 簡素化されたネットワークを、カスタムコンパイラーとFPGA設計プロセスを用いて、シリコンシナプスおよびデジタルスパイクニューロンにマッピングする。
• システムは、外部メモリを完全に回避するため、オンチップブロックRAMをフレームバッファとして使用し、非フォン・ノイマンアーキテクチャを実現する。
• ニューラルネットワークユニットと遅延素子は、標準IC設計ツールを用いて自動的に配置・配線され、効率的なハードウェアマッピングを可能にする。
• 実装はFPGAをターゲットとし、最終的なシステムは1枚の画像あたり156.8 μs で推論を実行する。

実験結果

リサーチクエスチョン

• RQ1 すべての重みをオンチップに格納することで、外部メモリを回避する神経形状システムは、高精度なニューラルネットワーク推論を達成できるか？
• RQ2 低ランク近似とTDNN変換により、モデルパラメータをどれほど削減できるか、かつ顕著な精度損失なしに実現できるか？
• RQ3 標準的なFPGA設計手法を、フルスタックの神経形状推論システムの実装にどれほど効果的に適応できるか？
• RQ4 非フォン・ノイマン型神経形状アーキテクチャは、組み込みプラットフォームでリアルタイムかつ低消費電力の推論を達成できるか？
• RQ5 神経形状推論システムにおいて、パラメータ削減、ハードウェアコスト、分類精度の間のトレードオフはいかなるものか？

主な発見

• 神経形状システムは、オンチップメモリのみを用いてMNISTデータセットで97.64%の分類精度を達成した。
• システムは1枚の入力画像を156.8 μs で処理し、リアルタイム推論の能力を示した。
• すべての重みパラメータ（元のネットワークで109,760個）がオンチップに格納され、外部メモリアクセスが完全に排除された。
• コンパイラーは、1層ネットワークではパラメータ数を最大9.52倍まで削減し、より深いアーキテクチャでは100倍以上にまで削減しながら、精度損失を最小限に抑えた。
• FPGA 上でのConvNet2の実装は、シミュレーション結果と完全に一致し、関数的正しさが確認された。
• このアプローチは、より大きなFPGAやカスタムASICへのスケーリングが可能であり、オンチップに400万個以上のパラメータを持つネットワークの実装を可能にする。