[論文レビュー] Zero-shifting Technique for Deep Neural Network Training on Resistive Cross-point Arrays

Hyungjun Kim, Malte J. Rasch+6 more|arXiv (Cornell University)|Jul 24, 2019

Advanced Memory and Neural Computing参考文献 29被引用数 12

ひとこと要約

本稿では、RRAMデバイスにおける非対称なコンダクタンス変調が引き起こす抵抗性クロスポイントアレイベースのDNN学習における性能劣化を軽減するゼロシフト技術を提案する。動的に参照重み点を調整することで、不均衡な上昇／下降重み更新を補償し、勾配蓄積の対称性を回復させることで、ハードウェア設計を変更せずに非対称なシナプスにおいてもMNISTの分類精度を顕著に向上させる。

ABSTRACT

A resistive memory device-based computing architecture is one of the promising platforms for energy-efficient Deep Neural Network (DNN) training accelerators. The key technical challenge in realizing such accelerators is to accumulate the gradient information without a bias. Unlike the digital numbers in software which can be assigned and accessed with desired accuracy, numbers stored in resistive memory devices can only be manipulated following the physics of the device, which can significantly limit the training performance. Therefore, additional techniques and algorithm-level remedies are required to achieve the best possible performance in resistive memory device-based accelerators. In this paper, we analyze asymmetric conductance modulation characteristics in RRAM by Soft-bound synapse model and present an in-depth analysis on the relationship between device characteristics and DNN model accuracy using a 3-layer DNN trained on the MNIST dataset. We show that the imbalance between up and down update leads to a poor network performance. We introduce a concept of symmetry point and propose a zero-shifting technique which can compensate imbalance by programming the reference device and changing the zero value point of the weight. By using this zero-shifting method, we show that network performance dramatically improves for imbalanced synapse devices.

研究の動機と目的

• DNN学習中に発生するRRAMデバイスにおける非対称なコンダクタンス変調の課題に対処すること。
• 重み更新方向（上昇対下降）の不均衡に起因する抵抗性クロスポイントアレイにおける性能低下の根本的原因を特定すること。
• ハードウェア変更を要せず、勾配蓄積の対称性を回復させるアルゴリズムレベルの解決策を開発すること。
• 参照ゼロ点の調整が、RRAMベースのアクセラレータにおけるデバイスレベルの非対称性を効果的に補償できることを実証すること。

提案手法

• 上昇と下降の更新がバランスする理想の参照重み値として「対称性点」の概念を導入する。
• ゼロシフトを提案：参照RRAMデバイスを対称性点にプログラミングすることで、重みのゼロ値点を再定義する。
• シフトされた参照を考慮した勾配更新プロセスを変更し、有効な重み変更が対称的になるようにする。
• HfO2ベースのRRAMデバイスにおけるコンダクタンス変調の非対称性をシミュレート・分析するために、ソフトバウンドシナプスモデルを用いる。
• 実際のデバイス制約下で非対称性の影響とゼロシフトの有効性を評価するため、MNIST上で3層DNNを学習する。
• 参照デバイスをデバイス固有の対称性点にキャリブレーションすることで、ドリフトと更新の不均衡を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 RRAMデバイスにおける非対称なコンダクタンス変調は、DNN学習性能にどのように影響するか？
• RQ2 デバイスレベルのコンダクタンス非対称性と、それによるDNNモデル精度低下の関係は何か？
• RQ3 アルゴリズム的補償により、ハードウェア再設計なしにRRAMベースのDNNアクセラレータの性能を回復できるか？
• RQ4 動的にゼロ点の参照をシフトすることで、学習の安定性と精度はどのように向上するか？

主な発見

• ゼロシフト技術により、非対称なRRAMシナプスを用いたMNISTデータセットにおけるDNN分類精度が顕著に向上した。
• 参照重み点を再定義することで、RRAMデバイスにおける非対称な上昇／下降コンダクタンス変化を効果的に補償できる。
• ソフトバウンドシナプスモデルの分析により、コンダクタンス非対称性が抵抗性クロスポイントアレイにおける性能劣化の主な要因であることが確認された。
• 提案手法により、下地のデバイスアーキテクチャを変更せずに、RRAMハードウェア上で安定的かつ正確なDNN学習が可能になった。