[論文レビュー] Thermal-Aware Compilation of Spiking Neural Networks to Neuromorphic Hardware

Twisha Titirsha, Anup Das|arXiv (Cornell University)|Oct 9, 2020

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

本稿では、神経モルフィックハードウェア上のスパikingニューラルネットワーク（SNN）のための熱感知コンパilation手法を提案する。本手法は、パラサイト的RC遅延に起因する電流変動から生じるクロスバーの温度勾配をモデル化し、平均温度を最小化するための勾配上昇ヒューリスティックを用いる。性能最適化マッピングと比較して、平均クロスバー温度を11.4K低減し、リーク電力を52%削減する。

ABSTRACT

Hardware implementation of neuromorphic computing can significantly improve performance and energy efficiency of machine learning tasks implemented with spiking neural networks (SNNs), making these hardware platforms particularly suitable for embedded systems and other energy-constrained environments. We observe that the long bitlines and wordlines in a crossbar of the hardware create significant current variations when propagating spikes through its synaptic elements, which are typically designed with non-volatile memory (NVM). Such current variations create a thermal gradient within each crossbar of the hardware, depending on the machine learning workload and the mapping of neurons and synapses of the workload to these crossbars. \mr{This thermal gradient becomes significant at scaled technology nodes and it increases the leakage power in the hardware leading to an increase in the energy consumption.} We propose a novel technique to map neurons and synapses of SNN-based machine learning workloads to neuromorphic hardware. We make two novel contributions. First, we formulate a detailed thermal model for a crossbar in a neuromorphic hardware incorporating workload dependency, where the temperature of each NVM-based synaptic cell is computed considering the thermal contributions from its neighboring cells. Second, we incorporate this thermal model in the mapping of neurons and synapses of SNN-based workloads using a hill-climbing heuristic. The objective is to reduce the thermal gradient in crossbars. We evaluate our neuron and synapse mapping technique using 10 machine learning workloads for a state-of-the-art neuromorphic hardware. We demonstrate an average 11.4K reduction in the average temperature of each crossbar in the hardware, leading to a 52% reduction in the leakage power consumption (11% lower total energy consumption) compared to a performance-oriented SNN mapping technique.

研究の動機と目的

• 長距離のビットラインおよびワードラインにおける電流変動が引き起こす神経モルフィッククロスバーの無視された温度勾配に対処すること。
• 隣接するセルからの空間的熱寄与を考慮したNVMベースのシナプスセルの温度をモデル化すること。
• SNNマッピング中に平均クロスバー温度を最小化することで、リーク電力とエネルギー消費を低減すること。
• コンパイルヒューリスティクスでの使用を想定し、精度と計算効率のバランスを取ったスケーラブルな熱モデルを開発すること。

提案手法

• 隣接するシナプスセルからの熱寄与を空間的依存性方程式を用いて考慮する、PCMベースのクロスバーの詳細な熱モデルを構築する。
• 熱モデルを勾配上昇ヒューリスティックに組み込み、平均クロスバー温度を最小化するニューロンおよびシナプスマッピングの探索を実施する。
• ビットラインおよびワードラインにおける異なるパス長に起因する電流変動を捉える、ワークロード依存の熱モデルを採用する。
• 高精度なレイアウトベースのシミュレーション（1回あたり30分）およびセル単体モデルと比較して熱モデルを検証し、先行モデルよりも高い精度を示す。
• コンパイルパイプラインに熱モデルを統合し、最適化のための反復回数制限（MaxIter）を設定可能な形で制御可能にし、トレードオフを調整可能にする。
• グリーディな勾配上昇アプローチを用いて、クロスバー全体の温度指標を段階的に改善するマッピング最適化を実施する。

実験結果

リサーチクエスチョン

• RQ1 ビットラインおよびワードラインパスにおける電流変動が、神経モルフィッククロスバーの温度勾配にどのように影響するか？
• RQ2 熱モデルにおいて空間的熱結合を無視すると、リーク電力推定がどの程度不正確になるか？
• RQ3 熱感知マッピング戦略は、神経モルフィックハードウェア上のSNNワークロードにおいて、平均クロスバー温度とリーク電力を低減できるか？
• RQ4 勾配上昇ヒューリスティックの反復回数を変化させた場合、コンパイル時間と温度低減のトレードオフはどのようになるか？
• RQ5 提案された熱モデルは、高精度モデルおよび簡略化モデルと比較して、どの程度の精度を示すか？

主な発見

• 空間的熱結合を組み込んだ本手法の熱モデルは、セル単体モデルと比較して、ピーク温度の低減を平均1.6K改善する。
• 空間的熱寄与モデルは、詳細なレイアウトベースのシミュレーションと比較して、0.3Kの絶対誤差で8.2%低い誤差を達成し、高い精度を示す。
• MaxIter = 100が、コンパイル時間と解の品質の最良のトレードオフを提供する。1000に増加させても温度低減の向上は最小限にとどまる。
• 10個のSNNワークロード全体で平均クロスバー温度を11.4K低減し、リーク電力を52%削減する。
• 性能劣化を伴わず、パフォーマンス最適化マッピングと比較して、総エネルギー消費を11%削減する。
• 保守的な電圧設計による最長パスの電流供給に起因する熱勾配を、本手法は効果的に緩和する。これにより、頻繁にアクセスされるセルにおけるリーク電力の増加が抑制される。