[論文レビュー] SWIM: Selective Write-Verify for Computing-in-Memory Neural Accelerators

Zheyu Yan, Xiaobo Sharon Hu+1 more|arXiv (Cornell University)|Feb 17, 2022

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本稿では、計算内メモリ（CiM）ニューラルアクセラレータ向けに、2次微分を用いて最も感受性の高い重みのみを特定・検証することで、プログラミング時間を短縮する選択的書き込み確認フレームワークであるSWIMを提案する。1回の順伝播と逆伝播のパスのみを要するため、全量書き込み確認と比較して最大10倍の高速化を達成し、新興の不揮発性メモリデバイスに起因する非理想性に対しても、ほぼ理想に近いモデル精度を維持する。

ABSTRACT

Computing-in-Memory architectures based on non-volatile emerging memories have demonstrated great potential for deep neural network (DNN) acceleration thanks to their high energy efficiency. However, these emerging devices can suffer from significant variations during the mapping process i.e., programming weights to the devices), and if left undealt with, can cause significant accuracy degradation. The non-ideality of weight mapping can be compensated by iterative programming with a write-verify scheme, i.e., reading the conductance and rewriting if necessary. In all existing works, such a practice is applied to every single weight of a DNN as it is being mapped, which requires extensive programming time. In this work, we show that it is only necessary to select a small portion of the weights for write-verify to maintain the DNN accuracy, thus achieving significant speedup. We further introduce a second derivative based technique SWIM, which only requires a single pass of forward and backpropagation, to efficiently select the weights that need write-verify. Experimental results on various DNN architectures for different datasets show that SWIM can achieve up to 10x programming speedup compared with conventional full-blown write-verify while attaining a comparable accuracy.

研究の動機と目的

• 非揮発性計算内メモリ（nvCiM）DNNアクセラレータにおける書き込み確認スキームの高コストなプログラミング時間を軽減すること。
• モデル精度を損なわずに、書き込み確認を要する重みの数を削減すること。
• 最も感受性の高い重みを特定する、効率的で単一パスの方法を開発すること。
• 選択的書き込み確認が実用的であり、全量書き込み確認よりも著しく高速であることを示すこと。
• nvCiMシステムにおけるデバイスのばらつきに対処するための実用的でハードウェアに優しい、イン・サイチュトレーニングや再トレーニングの代替策を提供すること。

提案手法

• SWIMは、DNN重みの2次微分を感受性指標として用い、書き込み確認が必要な重みを優先順位付けする。
• 有限差分近似に代えて、1回の順伝播と逆伝播のパスのみで2次微分を効率的に計算する。
• 高い2次微分の絶対値を示す少数の重みのみを、反復的書き込み確認の対象として選択する。
• 高い2次微分を持つ重みは、プログラミングエラーに対してより感受性が高いため、この仮説に基づく選択を行う。
• フレームワークは、nvCiMハードウェアにデプロイする前の重みマッピング段階で適用される。
• デバイスのばらつき下でもモデル精度を維持しつつ、書き込み確認サイクルを顕著に削減可能である。

実験結果

リサーチクエスチョン

• RQ1 nvCiM DNNアクセラレータにおいて、モデル精度を損なわずに書き込み確認を要する重みの数を削減できるか？
• RQ2 計算的に効率的な方法で、書き込み確認の対象となる最も感受性の高い重みを特定できるか？
• RQ3 デバイスのばらつきが存在する中で、2次微分が重要とされる重みを特定するための信頼性のある指標として機能するか？
• RQ4 選択的書き込み確認は、全量書き込み確認やイン・サイチュトレーニングと比較して、速度と精度の点でどのように差がつくか？
• RQ5 多様なDNNアーキテクチャとデータセットにおいて、許容可能な精度を維持するのに必要な最小の書き込み確認サイクル数はどの程度か？

主な発見

• SWIMは、MNIST、CIFAR-10、Tiny ImageNetにおいて、従来の全量書き込み確認と比較して最大10倍のプログラミング高速化を達成した。
• 書き込みサイクルの10%（NWC = 0.1）で、MNISTでは全量書き込み確認と比較して0.1%未満の精度低下、CIFAR-10では0.5%未満の精度低下を維持した。
• Tiny ImageNetでは、10%の書き込みサイクルで3%未満の精度低下を達成し、マグニチュードベースやランダム選択と比較して優れた性能を示した。
• 3,000回のモンテカルロランで精度の標準偏差が低く抑えられ、ベースラインと比較してデバイスばらつきに対する優れたロバストネスを示した。
• イン・サイチュトレーニングと比較して、SWIMは最大9倍少ない書き込み確認サイクルで同等の精度を達成し、追加のハードウェアやトレーニングイテレーションを回避できた。
• CIFAR-10のResNet-18では、10%の書き込み確認サイクルで0.5%未満の精度低下を維持したが、他の手法では2%を超える低下を示した。