[論文レビュー] PIMBALL: Binary Neural Networks in Spintronic Memory

Salonik Resch, S. Karen Khatamifard+6 more|arXiv (Cornell University)|Dec 10, 2018

Advanced Memory and Neural Computing参考文献 48被引用数 4

ひとこと要約

PIMBALLは、スピントランスポータルトルク磁気的ランダムアクセスメモリ（STT-MRAM）アレイを用いて、バイナリニューラルネットワーク（BNNs）をスピントロニクス的手法とメモリ内計算により加速する、メモリ内計算アーキテクチャを提案する。XNOR、ポップカウント、しきい値処理といったすべてのBNN演算を外部のデジタル論理回路を一切用いずに、完全にメモリアレイ内で実行する。PIMBALLは、CPU、GPU、FPGAベースの実装と比較して顕著に高いエネルギー効率を達成するとともに、大規模なアレイレベル並列処理により高いスループットを実現する。

ABSTRACT

Neural networks span a wide range of applications of industrial and commercial significance. Binary neural networks (BNN) are particularly effective in trading accuracy for performance, energy efficiency or hardware/software complexity. Here, we introduce a spintronic, re-configurable in-memory BNN accelerator, PIMBALL: Processing In Memory BNN AcceL(L)erator, which allows for massively parallel and energy efficient computation. PIMBALL is capable of being used as a standard spintronic memory (STT-MRAM) array and a computational substrate simultaneously. We evaluate PIMBALL using multiple image classifiers and a genomics kernel. Our simulation results show that PIMBALL is more energy efficient than alternative CPU, GPU, and FPGA based implementations while delivering higher throughput.

研究の動機と目的

• スピントロニクスメモリにおけるメモリ内計算を活用することで、従来のニューラルネットワークアクセラレータのエネルギーと性能のボトル neck を解消すること。
• BNNパラメータのオンチップストレージが限られているため、頻繁なオフチップメモリアクセスを要する従来のアクセラレータの制限を克服すること。
• XNOR、ポップカウント、積算などのビット単位演算および積算演算をネイティブにサポートするSTT-MRAMを用いて、再構成可能でスケーラブルかつエネルギー効率の高いPIM基盤をBNN向けに設計すること。
• 外部のデジタルまたはアナログ論理回路を排除し、すべてのBNN計算を直接メモリアレイ内で実行すること。
• PIMベースのアーキテクチャが、大規模なスケールでのBNN推論において、優れたエネルギー効率と競争力のあるスループットを達成できることを実証すること。

提案手法

• 各メモリセルがスピントロニクス論理演算（例：XNOR、ポップカウント）を用いてメモリ内計算を可能にする、変更を加えたSTT-MRAMアレイアーキテクチャ（PIMBALL）を採用する。
• 任意の行を動的に任意の計算タスクに割り当て可能な再構成可能メモリアレイ設計を採用し、アルゴリズムの柔軟性を実現する。
• XNOR、ポップカウント、バッチ正規化、しきい値処理といったBNNの核心的演算を、スピントロニクスの物理的性質とアレイレベル並列処理を活用して、完全にメモリアレイ内で実行する。
• STT-MRAMの内在的な非バイト性およびビット逐次性を活かし、単一の基板上で低消費電力で持続的なストレージと計算を両立する。
• パイプライン処理とアレイレベル並列処理を統合することで、FPGAアクセラレータと比較して潜在的に遅延の長い個々のサイクル時間であっても、高いスループットを達成する。
• すべての計算論理をメモリアレイ構造に統合することで、外部のセンスアンプや補助プロセッサを排除し、完全なメモリ内処理を実現する。

実験結果

リサーチクエスチョン

• RQ1 外部のデジタル論理回路を一切用いずに、スピントロニクスメモリアレイを再構成することで、バイナリニューラルネットワーク（例：XNOR、ポップカウント、しきい値処理）のすべての主要演算を実行可能か？
• RQ2 PIMベースのBNNアクセラレータのエネルギー効率は、従来のCPU、GPU、FPGA実装と比較してどの程度優れているか？
• RQ3 PIMBALLにおけるアレイレベル並列処理は、個々の演算サイクルが遅い可能性がある場合に、高いスループットを達成するためにどの程度補償できるか？
• RQ4 提案されたPIMBALLアーキテクチャは、極めて高いエネルギー効率を達成しながらも、BNN推論において高い精度を維持できるか？
• RQ5 CIFAR-10 や ImageNet で使用されるようなより大きなネットワークへ、PIMBALLアーキテクチャをスケーリングすることは可能か？性能や効率を損なわずに行えるか？

主な発見

• PIMBALLは、FPGAベースの実装と比較して顕著に高いエネルギー効率を達成しており、FPGAと比較して消費電力を数分の１にまで低減している。
• 大規模なアレイレベル並列処理とパイプライン処理を活用することで、PIMBALLはFPGAベースの実装を上回るスループットを達成するとともに、優れたエネルギー効率を維持している。
• XNOR、ポップカウント、バッチ正規化、しきい値処理といったすべての核心的BNN演算が完全にメモリアレイ内で実行されており、外部のデジタルまたはアナログ回路の必要性が排除されている。
• PIMBALLアーキテクチャは完全に再構成可能であり、アレイ内の任意の行を、アルゴリズム的要件に応じて動的に異なる計算タスクに割り当て可能である。
• 設計はスケーラブルであり、CIFAR-10 や SVHN で使用されるようなより大きなネットワークに対しても適していることがシミュレーション結果から確認されており、高い性能と低消費電力が得られている。
• 計算に使用されていない際も、標準的なSTT-MRAMの機能と互換性を保っているため、メモリとしての使用とアクセラレータとしての使用の両方を可能としている。