[論文レビュー] SwitchX: Gmin-Gmax Switching for Energy-Efficient and Robust Implementation of Binary Neural Networks on ReRAM Xbars

Abhiroop Bhattacharjee, Priyadarshini Panda|arXiv (Cornell University)|Nov 30, 2020

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

SwitchX は、ReRAMクロスバー上でのバイナリ化ニューラルネットワーク（BNNs）のための画期的な重みマッピング戦略を提案する。この戦略は、クロスバーの非理想性の影響を軽減するために、低抵抗状態（LRS）のシナプスよりも高抵抗状態（HRS）のシナプスを優遇する。このアプローチにより、敵対的ロバストネスが最大16%向上し、エネルギー効率が最大22%向上する。特に、状態を考慮したトレーニングと組み合わせると顕著な効果を示す。

ABSTRACT

Memristive crossbars can efficiently implement Binarized Neural Networks (BNNs) wherein the weights are stored in high-resistance states (HRS) and low-resistance states (LRS) of the synapses. We propose SwitchX mapping of BNN weights onto ReRAM crossbars such that the impact of crossbar non-idealities, that lead to degradation in computational accuracy, are minimized. Essentially, SwitchX maps the binary weights in such manner that a crossbar instance comprises of more HRS than LRS synapses. We find BNNs mapped onto crossbars with SwitchX to exhibit better robustness against adversarial attacks than the standard crossbar-mapped BNNs, the baseline. Finally, we combine SwitchX with state-aware training (that further increases the feasibility of HRS states during weight mapping) to boost the robustness of a BNN on hardware. We find that this approach yields stronger defense against adversarial attacks than adversarial training, a state-of-the-art software defense. We perform experiments on a VGG16 BNN with benchmark datasets (CIFAR-10, CIFAR-100 & TinyImagenet) and use Fast Gradient Sign Method and Projected Gradient Descent adversarial attacks. We show that SwitchX combined with state-aware training can yield upto ~35% improvements in clean accuracy and ~6-16% in adversarial accuracies against conventional BNNs. Furthermore, an important by-product of SwitchX mapping is increased crossbar power savings, owing to an increased proportion of HRS synapses, that is furthered with state-aware training. We obtain upto ~21-22% savings in crossbar power consumption for state-aware trained BNN mapped via SwitchX on 16x16 & 32x32 crossbars using the CIFAR-10 & CIFAR-100 datasets.

研究の動機と目的

• 非理想的な ReRAM クロスバーに実装された BNN が敵対的攻撃に対して脆弱であるという問題に取り組む。
• インターコネクトのパラシティクスやデバイスのばらつきといったクロスバーの非理想性が引き起こす精度の低下を軽減する。
• HRS シナプスの割合を増やすことでエネルギー効率を向上させる。HRS シナプスは消費電力が少ないため。
• ソフトウェアベースの防御に依存せずに、ハードウェアに配慮した重みマッピングにより敵対的ロバストネスを向上させる。
• SwitchX と状態を考慮したトレーニングを統合し、HRS の実現可能性をさらに高め、精度とロバストネスの両方を向上させる。

提案手法

• クロスバーに LRS シナプスよりも HRS シナプスを多く含むように BNN 重みを再編成する SwitchX マッピングを提案する。
• HRS シナプスが抵抗的非理想性に対して感受性が低いため、MAC 演算中の誤差伝搬を低減できることを活用する。
• クロスバーマッピング中に HRS 利用率を最大化するように、修正された重みの並べ替え戦略を用いる。
• SwitchX を状態を考慮したトレーニングと組み合わせる。このトレーニングは、重み量子化の段階で HRS 状態を優遇するようにトレーニングプロセスを調整する。
• 回路レベルのシミュレーションフレームワークを用いて、インターコネクトのパラシティクス、デバイスのばらつき、センシング／ドライバ抵抗を含むクロスバーの非理想性をモデル化する。
• FGSM および PGD 敵対的攻撃を用いて、CIFAR-10、CIFAR-100、TinyImageNet における標準 BNN（VGG16）の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ハードウェアに配慮した重みマッピング戦略は、ReRAM クロスバーの非理想性が BNN 推論精度に与える影響を軽減できるか？
• RQ2 ReRAM クロスバーにおける HRS シナプスの割合を増やすことで、BNN の敵対的ロバストネスが向上するか？
• RQ3 SwitchX マッピングを状態を考慮したトレーニングと組み合わせることで、エネルギー効率とロバストネスの両方を同時に向上させられるか？
• RQ4 ハードウェアの非理想性が性能を低下させる条件下でも、SwitchX は最先端のソフトウェアベースの敵対的トレーニングと比較して、ロバストネスで優れているか？
• RQ5 クロスバーの電力節約は、重み分布における HRS-LRS 不均衡度にどの程度比例して拡大するか？

主な発見

• SwitchX マッピングは、抵抗変動に対して影響を受けにくい HRS シナプスを優遇することで、クロスバーの非理想性による精度低下を軽減する。
• SwitchX と状態を考慮したトレーニングを組み合わせることで、CIFAR-10 および CIFAR-100 におけるクリーン精度が最大約35%向上し、敵対的精度が約6–16%向上する。
• 状態を考慮したトレーニングを用いることで、32×32 クロスバーでは最大約22%、16×16 クロスバーでは最大約21%のクロスバー電力節約が達成される。
• レイヤごとの電力分析では、HRS-LRS 分布が非一様になることで、特に conv7 と conv8 の間で顕著な節約が見られる。
• 抵抗的非理想性が性能を低下させる状況下でも、SwitchX は敵対的攻撃に対するロバストネスで敵対的トレーニングを上回る。
• この手法は二重の利点を提供する：モデル精度を損なわず、エネルギー効率の向上と敵対的ロバストネスの強化を両立させる。