[論文レビュー] Group Scissor: Scaling Neuromorphic Computing Design to Large Neural Networks

Yandan Wang, Wei Wen+3 more|arXiv (Cornell University)|Feb 11, 2017

Advanced Memory and Neural Computing被引用数 7

ひとこと要約

本稿では、重み行列の低ランク近似と構造的プルーニングを組み合わせることで、大規模ニューラルネットワーク向けに神経形状コンピューティングシステム（NCS）のスケーラビリティを向上させる二段階フレームワーク、Group Scissorを提案する。ランククリッピングは低ランク近似を用いて重み行列を縮小し、グループ接続削除は構造的に接続グループ全体をプルーニングすることで、LeNetではクロスバー面積を13.62%、ルーティング面積を8.1%削減（精度損失なし）、ConvNetではそれぞれ51.81%および52.06%の削減を達成した。

ABSTRACT

Synapse crossbar is an elementary structure in Neuromorphic Computing Systems (NCS). However, the limited size of crossbars and heavy routing congestion impedes the NCS implementations of big neural networks. In this paper, we propose a two-step framework (namely, group scissor) to scale NCS designs to big neural networks. The first step is rank clipping, which integrates low-rank approximation into the training to reduce total crossbar area. The second step is group connection deletion, which structurally prunes connections to reduce routing congestion between crossbars. Tested on convolutional neural networks of LeNet on MNIST database and ConvNet on CIFAR-10 database, our experiments show significant reduction of crossbar area and routing area in NCS designs. Without accuracy loss, rank clipping reduces total crossbar area to 13.62\% and 51.81\% in the NCS designs of LeNet and ConvNet, respectively. Following rank clipping, group connection deletion further reduces the routing area of LeNet and ConvNet to 8.1\% and 52.06\%, respectively.

研究の動機と目的

• 大規模ディープニューラルネットワーク（DNN）の実装において、神経形状コンピューティングシステム（NCS）のスケーラビリティ制限を解消すること。
• NCS設計における限られたクロスバーサイズと深刻なルーティング混雑の原因となるハードウェアボトルネックを克服すること。
• 現代のDNN向けに、効率的で正確かつスケーラブルなNCS展開を可能にするソフトウェア・ハードウェア共同最適化フレームワークを開発すること。
• モデル精度を損なわず、クロスバーおよびルーティング面積を顕著に削減すること。

提案手法

• 重み行列をグループ単位で低ランク近似（LRA）を適用し、各行列 W ≈ U·V^T をランクKで低次元化することでクロスバー寸法を最小化する。
• 訓練プロセスにランククリッピングを統合し、必要なシナプスクロスバー数を削減しながらモデル精度を維持する。
• 全接続グループに対してグループLasso正則化を適用することでグループ接続削除を実装し、重み行列全体に構造的スパarsityを実現する。
• 階層的MBC（メモリスティットベースクロスバー）選択戦略を採用：64×64以下のサイズには単一MBCを、それ以上のサイズには複数MBCをタイリングし、ハードウェア実装可能性を確保する。
• MBC寸法およびワイヤ数に基づく数式を用いてクロスバーおよびルーティング面積を推定し、ルーティング面積は残存ワイヤ数の関数として計算する。
• プルーニング後にすべての列／行がゼロになった場合に全クロスバーを削除可能とし、スパースクロスバーをより小さな密行列クロスバーに置き換えることで、ハードウェア効率を最適化する。

実験結果

リサーチクエスチョン

• RQ1 訓練プロセスに低ランク近似を効果的に統合することで、精度損失なしに神経形状ハードウェアにおけるクロスバー面積を削減可能か？
• RQ2 グループ接続削除による構造的プルーニングは、大規模DNNにおけるクロスバー間のルーティング混雑を顕著に軽減可能か？
• RQ3 Group Scissorフレームワークを統合することで、総ハードウェア面積（クロスバー＋ルーティング）をどの程度削減可能か、かつモデル精度を維持できるか？
• RQ4 標準ベンチマーク（MNIST、CIFAR-10）およびハードウェア制約を考慮した実世界のDNN（LeNet、ConvNet）において、本フレームワークはどの程度の性能を示すか？

主な発見

• ランククリッピングにより、LeNetでは総クロスバー面積が元の13.62%に、ConvNetでは51.81%にまで削減され、精度損失なしに実現した。
• グループ接続削除により、LeNetでは平均レイヤーごとのルーティング面積が8.1%に、ConvNetでは52.06%にまで削減され、ベースライン精度を維持した。
• わずか1.5%の精度損失で、LeNetの各レイヤーにおいてルーティング面積をそれぞれ56.25%、7.64%、21.44%、31.64%まで削減し、わずかな精度の妥協のもとで優れたスケーラビリティを示した。
• グループプルーニングによって生じる構造的スパarsityにより、全クロスバーの削除およびより小さな密行列クロスバーへの置き換えが可能となり、さらに面積削減が達成された。
• グループ接続削除後、重み行列はブロックワイドスパースィティを示し、全列／行がゼロに設定されたため、対応するルーティングワイヤが削除可能となった。
• 本フレームワークは顕著なハードウェア面積削減を達成し、LeNetではルーティング面積が最大92%削減された一方で、MNISTおよびCIFAR-10で最先端の性能を維持した。