[論文レビュー] Memristor-based Deep Convolution Neural Network: A Case Study

Fan Zhang, Miao Hu|arXiv (Cornell University)|Sep 14, 2018

Advanced Memory and Neural Computing参考文献 11被引用数 7

ひとこと要約

本稿では、改良された変換アルゴリズムと実験検証済みの回路シミュレーションを用いて、1T1Mクロスバーに畳み込みカーネルをマッピングする、現実的で実用的なMemristorベースのResNet-20実装を提案する。8ビットADC/DAC量子化が分類精度を保持するために不可欠であることが示され、エンド・ツー・エンドのシミュレーションにおいて、層をまたがる誤差蓄積を防ぎ、最大1.2％未満の相対誤差を達成する。

ABSTRACT

In this paper, we firstly introduce a method to efficiently implement large-scale high-dimensional convolution with realistic memristor-based circuit components. An experiment verified simulator is adapted for accurate prediction of analog crossbar behavior. An improved conversion algorithm is developed to convert convolution kernels to memristor-based circuits, which minimizes the error with consideration of the data and kernel patterns in CNNs. With circuit simulation for all convolution layers in ResNet-20, we found that 8-bit ADC/DAC is necessary to preserve software level classification accuracy.

研究の動機と目的

• CNNにおける大規模なMemristorクロスバー配列の正確なアナログ回路シミュレーションの欠如に対処すること。
• 現実的なハードウェア部品を用いて、高次元の畳み込みカーネルを2次元のMemristorクロスバーにマッピングする実用的な手法を開発すること。
• ResNet-20のような最先端のCNNが、アナログMemristorクロスバーで実装された場合に信頼性を持って動作するかどうかを評価すること。
• 非理想性や誤差伝搬を考慮しても分類精度を維持できる最小のADC/DACビット幅を特定すること。

提案手法

• Memristorの非理想性、データのスパarsity、カーネルパターンを考慮した、改良されたカーネルからコンダクタンスへの変換アルゴリズムを開発した。
• 実験検証済みのシミュレータを用いてアナログクロスバーの挙動をモデル化し、単純化されたモデルに代わり、現実的なSPICEベースの精度を実現した。
• 1T1Mクロスバーアーキテクチャを採用し、入力電圧を行に印加し、出力電流を列から読み取ることでアナログベクトル-行列乗算を実行した。
• クロスバー出力のずれを補正するために、10個のランダムに選択された入力サンプルを用いた1次多項式フィッティングを用いたキャリブレーションステージを導入した。
• CIFAR-10のサブセット（150枚）を用いて、ResNet-20のすべての畳み込み層を含むシミュレーションを実施し、ADC/DAC量子化を4ビット、6ビット、8ビットの設定で変化させた。
• 誤差伝搬を層ごとに追跡し、最終的な分類精度に与える累積的影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 現実的なアナログ回路シミュレーションは、大規模なCNNにおけるMemristorクロスバーの挙動を正確に予測できるか？
• RQ2 MemristorベースのCNN推論において、ソフトウェアレベルの分類精度を維持するために必要な最小のADC/DACビット幅は何か？
• RQ3 データのスパarsityとカーネルタイプは、Memristorクロスバー実装の精度にどのように影響するか？
• RQ4 配線抵抗やデバイスばらつきなどの非理想性が、エンド・ツー・エンドの分類性能に及ぼす影響はどの程度か？

主な発見

• 改良された変換アルゴリズムは、元の手法と比較して平均相対誤差を約50％低減し、特に理想的出力値が低く、データスパarsityが高い状況で顕著であった。
• 576×64クロスバーにおいて、平均相対誤差は0.25％（約8.6ビット相当）、最大相対誤差は1.2％（約6.4ビット相当）を達成した。
• ADC/DAC量子化が行われない場合、誤差が層をまたがって蓄積され、分類精度が著しく低下し、大規模な展開には不適切になる。
• 6ビットADC/DACでは誤差率が10％から17.3％に上昇し、4ビットADC/DACでは11.3％から88.7％に上昇し、深刻な性能劣化が確認された。
• 8ビットADC/DACは、ソフトウェアベースラインと同等またはわずかに優れた分類精度を維持する最良のバランスを提供した。
• シミュレーション結果は、MemristorベースのCNN推論において分類精度の劣化を防ぐために8ビット量子化が不可欠であることを確認した。