[論文レビュー] TraNNsformer: Neural Network Transformation for memristive crossbar based neuromorphic system design

Aayush Ankit, Abhronil Sengupta+1 more|arXiv (Cornell University)|Nov 13, 2017

Advanced Memory and Neural Computing参考文献 28被引用数 27

ひとこと要約

TraNNsformer は、スパikingニューラルネットワーク（SNN）をメモリスティブクロスバーアレイ（MCA）と互換性のある最適な刈り込み済みでクラスタ化された接続パターンに変換する、技術に配慮したトレーニングフレームワークである。この手法により、精度を損なわずに面積を28–55%、エネルギーを49–67%削減できる。このフレームワークは繰り返し接続を刈り込み、クラスタを形成し、微調整することで、DNNをMCAの規則的な構造に適合させ、効率的なハードウェアマッピングを実現する。

ABSTRACT

Implementation of Neuromorphic Systems using post Complementary Metal-Oxide-Semiconductor (CMOS) technology based Memristive Crossbar Array (MCA) has emerged as a promising solution to enable low-power acceleration of neural networks. However, the recent trend to design Deep Neural Networks (DNNs) for achieving human-like cognitive abilities poses significant challenges towards the scalable design of neuromorphic systems (due to the increase in computation/storage demands). Network pruning [7] is a powerful technique to remove redundant connections for designing optimally connected (maximally sparse) DNNs. However, such pruning techniques induce irregular connections that are incoherent to the crossbar structure. Eventually they produce DNNs with highly inefficient hardware realizations (in terms of area and energy). In this work, we propose TraNNsformer - an integrated training framework that transforms DNNs to enable their efficient realization on MCA-based systems. TraNNsformer first prunes the connectivity matrix while forming clusters with the remaining connections. Subsequently, it retrains the network to fine tune the connections and reinforce the clusters. This is done iteratively to transform the original connectivity into an optimally pruned and maximally clustered mapping. We evaluated the proposed framework by transforming different Multi-Layer Perceptron (MLP) based Spiking Neural Networks (SNNs) on a wide range of datasets (MNIST, SVHN and CIFAR10) and executing them on MCA-based systems to analyze the area and energy benefits. Without accuracy loss, TraNNsformer reduces the area (energy) consumption by 28% - 55% (49% - 67%) with respect to the original network. Compared to network pruning, TraNNsformer achieves 28% - 49% (15% - 29%) area (energy) savings. Furthermore, TraNNsformer is a technology-aware framework that allows mapping a given DNN to any MCA size permissible by the memristive technology for reliable operations.

研究の動機と目的

• 不規則で刈り込まれたDNNと、メモリスティブクロスバーアレイ（MCA）の規則的なクロスバー構造との不適合性を解消すること。
• 刈り込まれたDNNに起因する不規則な接続性が引き起こす、面積およびエネルギー消費の非効率性を低減すること。
• 任意のMCAサイズにDNNをマッピングできるフレームワークを構築すること。
• ネットワーク構造をMCAのハードウェア制約に合わせることで、効率的で低消費電力のニューロモーフィックシステム設計を可能にすること。

提案手法

• DNNの接続行列を刈り込み、余分な接続を削除するとともに、残りの接続をクラスタにグループ化すること。
• 重みを微調整し、クラスタ形成を強化するために、繰り返しネットワークを再トレーニングすること。
• 元のDNNを、MCAのクロスバー構造と完全に互換性のある、最大限に疎かつクラスタ化された接続パターンに変換すること。
• 刈り込みと再トレーニングのフィードバックループを適用し、クラスタの凝集性とネットワークの精度を最適化すること。
• 最終的なネットワーク構造が、メモリスティブ技術が許容する任意のMCAサイズとスケーラブルかつ互換性を持つことを保証すること。
• 技術に配慮したアプローチを用いて、DNNをメモリスティブベースのニューロモーフィックハードウェアに、最小限の面積およびエネルギーオーバーヘッドで直接マッピングすること。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、刈り込まれたDNNを、メモリスティブクロスバーアレイの構造的制約に適合する接続パターンに変換できるか？
• RQ2 構造的な接続性を用いてDNNをMCAベースのシステムにマッピングする際、面積およびエネルギーの最大削減率はどの程度達成可能か？
• RQ3 提案されたフレームワークは、MCA上で効率的なハードウェアマッピングを可能にしつつ、ネットワークの精度を維持できるか？
• RQ4 ハードウェア効率の観点から、標準的なネットワーク刈り込み手法と比較して、このフレームワークのパフォーマンスはどの程度優れているか？
• RQ5 異なるMCAサイズにフレームワークをどの程度スケーリングできるか？信頼性とパフォーマンスを維持できる範囲はどこか？

主な発見

• TraNNsformer は、MCAベースのシステムにおいて、元のDNNと比較して面積消費を28%～55%削減し、エネルギー消費を49%～67%削減した。
• 標準的なネットワーク刈り込み手法と比較して、面積の削減率が28%～49%多く、エネルギーの削減率が15%～29%多い。
• 変換されたネットワークは、MNIST、SVHN、CIFAR10の各データセットにおいて、元のDNNと同等の精度を維持した。
• このフレームワークにより、メモリスティブ技術が許容する任意のMCAサイズに、任意のDNNをマッピング可能であり、スケーラビリティと信頼性を確保した。
• 繰り返しの刈り込みと再トレーニングプロセスにより、MCAハードウェアと非常に高い適合性を持つ、最大限にクラスタ化され疎な接続パターンが成功裏に形成された。
• 多様なデータセットおよびネットワークアーキテクチャにおいて一貫したパフォーマンス向上を示し、一般化可能性が確認された。