[論文レビュー] A Spiking Neural Network for Image Segmentation

Kinjal A. Patel, Eric Hunsberger+2 more|arXiv (Cornell University)|Jun 16, 2021

Advanced Memory and Neural Computing参考文献 14被引用数 37

ひとこと要約

本論文は U-Net を Intel Loihi 上で実装されたスパーキングニューラルネットワークへ変換し、レートベースおよびスパイクベースのモデルを訓練し、8-bit 量子化を用いた Loihi ベースのパイプラインにおいて、同等の精度でエネルギー効率を2倍以上向上させることを示します。

ABSTRACT

We seek to investigate the scalability of neuromorphic computing for computer vision, with the objective of replicating non-neuromorphic performance on computer vision tasks while reducing power consumption. We convert the deep Artificial Neural Network (ANN) architecture U-Net to a Spiking Neural Network (SNN) architecture using the Nengo framework. Both rate-based and spike-based models are trained and optimized for benchmarking performance and power, using a modified version of the ISBI 2D EM Segmentation dataset consisting of microscope images of cells. We propose a partitioning method to optimize inter-chip communication to improve speed and energy efficiency when deploying multi-chip networks on the Loihi neuromorphic chip. We explore the advantages of regularizing firing rates of Loihi neurons for converting ANN to SNN with minimum accuracy loss and optimized energy consumption. We propose a percentile based regularization loss function to limit the spiking rate of the neuron between a desired range. The SNN is converted directly from the corresponding ANN, and demonstrates similar semantic segmentation as the ANN using the same number of neurons and weights. However, the neuromorphic implementation on the Intel Loihi neuromorphic chip is over 2x more energy-efficient than conventional hardware (CPU, GPU) when running online (one image at a time). These power improvements are achieved without sacrificing the task performance accuracy of the network, and when all weights (Loihi, CPU, and GPU networks) are quantized to 8 bits.

研究の動機と目的

• 競合的な性能と省電力を両立する、スケーラブルなニューロモルフィック手法をコンピュータビジョン領域で探究する。
• Nengo ツールチェーンを用いて、深層分割アーキテクチャ（U-Net）をスパイキングフレームワークへ適応させる。
• レートベースおよびスパイクベースの SNN 実装を評価し、従来のハードウェアと比較したエネルギー効率を定量化する。
• Loihi デプロイメント向けに、チップ間通信とニューロン発火率を最適化する手法を開発する。

提案手法

• Nengo/NengoLoihi を用いて、ANN から SNN へのレートベース変換と推論用のスパイクベース実装を組み合わせ、ダウンサイジングされた U-Net（238K ニューロン）を ANN から SNN に変換する。
• ネットワークを ANN フレームワーク（TensorFlow）で訓練し、NengoDL/NengoLoihi に移行させ、Loihi の integrate-and-fire ニューロンに合わせた特殊な前方非線形性を適用する。
• 平均発火率を 50–200 Hz に制約するパーセンタイルベースの発火率正則化損失を導入し、精度とエネルギーのバランスを取る。
• Loihi コア間の通信を最小化するため、マルチチップデプロイメントにおいてモデルを Loihi コアに分割して配置する分割アルゴリズムを提案する。
• 重みを 8-bit に量子化し、浮動小数点重みを Loihi の固定小数点表現へ写像する重みスケーリングと指数スキームを設計する。
• オンライン（1 枚ずつ）および並列処理における Loihi と CPU/GPU のエネルギーと精度をベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 U-Net のような分割ネットワークを、SNN に効果的に変換して分割精度の大幅な低下なしに実現できるか。
• RQ2 Loihi での画像分割において、精度とエネルギー効率のバランスを最適化する正則化およびアーキテクチャ戦略は何か。
• RQ3 マルチチップ分割が大規模なニューロモルフィック分割ネットワークのレイテンシとエネルギー消費にどう影響するか。
• RQ4 浮動小数点 ANN 重みを Loihi の固定小数点モデルへ現実的に写像する量子化とマッピング手法で、性能を保つものは何か。
• RQ5 レートベースとスパイクベースの実装は、ニューロモルフィック画像分割において精度と電力でどう比較されるか。

主な発見

• SNN は同じニューロン数と重みを用いた場合、ANN と同等のセマンティック分割性能を達成する。
• Loihi ベースの推論は、オンライン処理（1 枚ずつ）で 8-bit 量子化重みを用いた場合、CPU/GPU よりエネルギー効率が2倍以上高い。
• パーセンタイルベースの発火率正則化によりニューロンの発火が 50–200 Hz に収まり、精度とエネルギーのバランスを確保する。
• スケールダウンした U-Net（238K ニューロン）を用いた 2 チップ Loihi 展開は、ニューロモルフィック画像分割のスケーラビリティを示す。
• 分割アルゴリズムはチップ間通信を最小化し、マルチチップ Loihi 展開で速度とエネルギー効率を改善する。