[論文レビュー] X-CHANGR: Changing Memristive Crossbar Mapping for Mitigating Line-Resistance Induced Accuracy Degradation in Deep Neural Networks

Amogh Agrawal, Chankyu Lee+1 more|arXiv (Cornell University)|Jun 29, 2019

Advanced Memory and Neural Computing参考文献 38被引用数 21

ひとこと要約

本論文では、ドライバに近いカラムに感受性の高いDNN重みおよびカーネルをランク付けして再割り当てすることで、メモリスチブクロスバーに起因するライン抵抗に起因する精度劣化を低減するX-CHANGRというクロスバー再マッピング手法を提案する。VGG16ネットワークとCIFAR-10を用いた静的（SRS）および動的（DRS）な再マッピング戦略により、再トレーニングや非揮発性メモリへの複数回ライトを必要とせず、ベースラインマッピングの5.6％と比較して、精度劣化を2.9％（SRS）および2.1％（DRS）にまで低減した。

ABSTRACT

There is widespread interest in emerging technologies, especially resistive crossbars for accelerating Deep Neural Networks (DNNs). Resistive crossbars offer a highly-parallel and efficient matrix-vector-multiplication (MVM) operation. MVM being the most dominant operation in DNNs makes crossbars ideally suited. However, various sources of device and circuit non-idealities lead to errors in the MVM output, thereby reducing DNN accuracy. Towards that end, we propose crossbar re-mapping strategies to mitigate line-resistance induced accuracy degradation in DNNs, without having to re-train the learned weights, unlike most prior works. Line-resistances degrade the voltage levels along the crossbar columns, thereby inducing more errors at the columns away from the drivers. We rank the DNN weights and kernels based on a sensitivity analysis, and re-arrange the columns such that the most sensitive kernels are mapped closer to the drivers, thereby minimizing the impact of errors on the overall accuracy. We propose two algorithms $-$ static remapping strategy (SRS) and dynamic remapping strategy (DRS), to optimize the crossbar re-arrangement of a pre-trained DNN. We demonstrate the benefits of our approach on a standard VGG16 network trained using CIFAR10 dataset. Our results show that SRS and DRS limit the accuracy degradation to 2.9\% and 2.1\%, respectively, compared to a 5.6\% drop from an as it is mapping of weights and kernels to crossbars. We believe this work brings an additional aspect for optimization, which can be used in tandem with existing mitigation techniques, such as in-situ compensation, technology aware training and re-training approaches, to enhance system performance.

研究の動機と目的

• 抵抗性クロスバーに基づくDNN推論におけるライン抵抗に起因する精度劣化を軽減すること。これは、カラム全体にわたる電圧降下によって性能が低下するためである。
• 再トレーニングや非揮発性メモリへの複数回ライトを必要とせず、エネルギー集約的でデバイス耐久性に制限のある手法を回避して、この劣化を緩和すること。
• DNNレイヤーの感受性をランク付けすることでクロスバーマッピングを最適化し、高感受性のカーネルを低誤差カラムに再割り当てすること。
• 最小限のハードウェアコストで実用的な2つの再マッピング戦略（静的および動的）を開発すること。

提案手法

• 統計的モデルによりライン抵抗の影響を特徴づけ、ドライバからの距離が増すにつれて電圧劣化が増加し、遠くのカラムでより高い誤差が生じることを示した。
• 感受性分析により、全トレーニングセットを対象にδ値を計算し、最終出力への影響度に基づいてニューロンをランク付けした。δ値が高いほど感受性が大きいことを示す。
• 静的再マッピング戦略（SRS）では、全データセットを用いて一度だけすべてのニューロンをランク付けし、その順位に従ってクロスバーのカラムを割り当てた。
• 動的再マッピング戦略（DRS）では、ミニバッチを用いて局所勾配を逐次計算し、ニューロンを再ランク付けし、各バッチ後にカラムを再マッピングした。その後、検証精度が最も高い構成を選択した。
• クロスバーモデルをシステムレベルのフレームワークと統合し、VGG16とCIFAR-10を用いて、ベースライン、SRS、DRSの各構成の精度を比較評価した。
• 最終的なマッピングは検証性能に基づいて選択され、全体の精度劣化を最小限に抑えた。

実験結果

リサーチクエスチョン

• RQ1 ライン抵抗に起因する電圧劣化はクロスバーのカラム間でどのように変化するのか。また、DNN推論精度にどのような影響を与えるか。
• RQ2 DNN重みおよびカーネルの感受性分析は、ライン抵抗誤差に対して最も脆弱なレイヤーを予測できるか。
• RQ3 感受性ランクに基づくクロスバーカラム再マッピングにより、再トレーニングを伴わずに全体の精度劣化を低減できるか。
• RQ4 静的および動的再マッピング戦略は、精度向上とハードウェアコストの観点から、どのように比較できるか。
• RQ5 本手法は、イン・サイト補償や再トレーニングといった既存の緩和技術と併用可能か。

主な発見

• CIFAR-10におけるVGG16ネットワークのベースライン精度は、ハードウェア由来の誤差が発生する前は89.29％であった。
• 標準的なクロスバーマッピングでは、ライン抵抗により5.6％の精度低下が生じ、性能は83.70％に低下した。
• 静的再マッピング戦略（SRS）により、劣化は2.9％にまで低減され、テスト精度は86.37％に達した。
• 動的再マッピング戦略（DRS）が最良の結果を示し、劣化を2.1％に抑え、テスト精度は87.18％に達した。
• DRSは反復的な再マッピングと設計空間の確率的探索により、SRSを上回った。
• 両戦略とも再トレーニングを回避し、eNVMへのライト回数を最小限に抑え、エネルギー制限のあるエッジデプロイドシステムに適している。