[論文レビュー] MemTorch: An Open-source Simulation Framework for Memristive Deep Learning Systems

Corey Lammie, Wei Xiang+2 more|arXiv (Cornell University)|Apr 23, 2020

Advanced Memory and Neural Computing被引用数 15

ひとこと要約

MemTorch は、非理想デバイス特性（I/V の非線形性、老化、ばらつきなど）とクロスバーアーキテクチャ設計を同時に共同シミュレーションする大規模なメモリストリプティブ深層学習システム向けのオープンソースで PyTorch に統合されたシミュレーションフレームワークです。カスタマイズ可能な動作デバイスモデルを備え、GPU による高速化を実現し、CIFAR-10 で 90% を超える精度を達成しています。1T1R クロスバーと現実的なデバイス非理想性を用いたシミュレーションが可能です。

ABSTRACT

Memristive devices have shown great promise to facilitate the acceleration and improve the power efficiency of Deep Learning (DL) systems. Crossbar architectures constructed using these Resistive Random-Access Memory (RRAM) devices can be used to efficiently implement various in-memory computing operations, such as Multiply Accumulate (MAC) and unrolled-convolutions, which are used extensively in Deep Neural Networks (DNNs) and Convolutional Neural Networks (CNNs). However, memristive devices face concerns of aging and non-idealities, which limit the accuracy, reliability, and robustness of Memristive Deep Learning Systems (MDLSs), that should be considered prior to circuit-level realization. This Original Software Publication (OSP) presents MemTorch, an open-source framework for customized large-scale memristive DL simulations, with a refined focus on the co-simulation of device non-idealities. MemTorch also facilitates co-modelling of key crossbar peripheral circuitry. MemTorch adopts a modernized soft-ware engineering methodology and integrates directly with the well-known PyTorch Machine Learning (ML) library

研究の動機と目的

• メモリストリプティブ深層学習システムのための柔軟でオープンソースの大規模シミュレーションフレームワークが、デバイスの非理想性とクロスバー周辺回路を同時にシミュレートするという課題を解決すること。
• RRAM ベースのクロスバーにおいて、I/V の非線形性、有限導電状態、老化、デバイス間ばらつきといった非理想動作の正確なモデル化を可能にすること。
• PyTorch にネイティブに統合された高水準でクロスプラットフォーム対応の API を提供し、CPU や GPU でのメモリストリプティブニューラルネットワークのシームレスなプロトタイピングを可能にすること。
• プロセスばらつきを反映するための確率的パラメータを備えたカスタマイズ可能な動作デバイスモデルをサポートし、メモリストリプティブ DL システムのロバストネス解析を可能にすること。

提案手法

• MemTorch は、パフォーマンスが求められる処理のために C++ と CUDA を使用し、Python を用いて高水準の制御と API アブストラクションを実現することで、PyTorch に直接統合されています。
• 非理想デバイス特性は、専用サブモジュール（memtorch.bh.nonideality）を介してモデル化されており、無限導電状態および有限導電状態デバイスの両方の I/V 特性を LUT（Lookup Table）ベースでシミュレートできます。
• 有限導電状態デバイスの場合、重みマッピング後に単一リセット電圧スキャンを実行し、各導電状態ごとの I/V 応答の LUT を生成します。
• 0T1R および 1T1R クロスバーアーキテクチャをサポートしており、タイルサイズ（例：128×128、256×64）と線形層および畳み込み層用のマッピング戦略をカスタマイズ可能です。
• 線形回帰を用いてクロスバー出力電流をネットワーク層出力にキャリブレーションすることで、電圧制約下でも正確な推論マッピングが可能になります。
• デバイスモデルは VTEAM モデルに基づいており、TiN/Hf(Al)O/Hf/TiN RRAM デバイスの実験的パラメータ（R_ON = 1.4e4 Ω、R_OFF = 5e7 Ω）を採用しています。

実験結果

リサーチクエスチョン

• RQ1 柔軟でオープンソースのシミュレーションフレームワークは、大規模なディープニューラルネットワークにおける非理想メモリストリプタ特性とクロスバーアーキテクチャ動作をどのように共同シミュレーションできるか？
• RQ2 I/V の非線形性と有限導電状態は、メモリストリプティブクロスバー基盤の DNN における推論精度にどの程度影響を及えるか？
• RQ3 PyTorch に統合されたフレームワークは、モデル忠実度を保持しつつ、高性能で GPU による加速が可能なメモリストリプティブ DNN シミュレーションを達成できるか？
• RQ4 デバイス間ばらつきと確率的パrameterization は、メモリストリプティブ推論システムのロバストネスと信頼性にどのように影響を及えるか？
• RQ5 クロスバータイルサイズとアーキテクチャ（1T1R 対 0T1R）は、メモリストリプティブ DNN アクcelerator の消費電力効率とスループットにどのような影響を及えるか？

主な発見

• MemTorch は、I/V の非線形性、有限導電状態、デバイスばらつきといった現実的な非理想性を備えたメモリストリプティブ DNN の高精度なシミュレーションを可能にしました。
• 1T1R クロスバーにマッピングされた MobileNetV2 アーキテクチャを用いたシミュレーションで、CIFAR-10 データセットで 90% を超えるテスト精度を達成しました。
• 有限導電状態の LUT ベースの I/V 特性シミュレーションにより、推論時の電流予測が高精度に実現され、各導電状態が固有の I/V 応答に対応しました。
• ワードラインあたり ±0.3V の電圧スケーリングを用いることで、実世界のアナログ信号制約を再現し、ネットワークの精度を保持できました。
• 256×64 クロスバータイルサイズは 128×128 よりも高いスループットと、ADC あたりのアナログ演算回数を増やせたため、大規模な推論においてより高い効率性を示しました。
• PyTorch との統合により、CUDA および C++ バックエンドを介した CPU および GPU 実行をサポートするシームレスなトレーニングと推論ワークフローが実現できました。