[論文レビュー] Advancing Memristive Analog Neuromorphic Networks: Increasing Complexity, and Coping with Imperfect Hardware Components

Farnood Merrikh-Bayat, M. Prezioso+3 more|arXiv (Cornell University)|Nov 10, 2016

Advanced Memory and Neural Computing参考文献 4被引用数 8

ひとこと要約

本論文では、2つの20×20メモリスティブクロスバー配列と428個の金属酸化物メモリスティブを用いた3層構造のミックスド・シグナル神経モルフィックネットワークを提案する。4×4バイナリ画像を4クラスに分類するため、10個の隠れ層および4個の出力層のアナログCMOSニューロンを備え、すべての推論処理をハードウェア上で実行する。本システムは、新規のトレーニング方式と温度補正型メモリスティブ乗算器設計により、欠陥およびばらつきに強い耐性を示し、300個の隠れニューロンを用いたMNISTにおけるモデリングによりスケーラビリティを検証した。

ABSTRACT

We experimentally demonstrate classification of 4x4 binary images into 4 classes, using a 3-layer mixed-signal neuromorphic network ("MLP perceptron"), based on two passive 20x20 memristive crossbar arrays, board-integrated with discrete CMOS components. The network features 10 hidden-layer and 4 output-layer analog CMOS neurons and 428 metal-oxide memristors, i.e. is almost an order of magnitude more complex than any previously reported functional memristor circuit. Moreover, the inference operation of this classifier is performed entirely in the integrated hardware. To deal with larger crossbar arrays, we have developed a semi-automatic approach to their forming and testing, and compared several memristor training schemes for coping with imperfect behavior of these devices, as well as with variability of analog CMOS neurons. The effectiveness of the proposed schemes for defect and variation tolerance was verified experimentally using the implemented network and, additionally, by modeling the operation of a larger network, with 300 hidden-layer neurons, on the MNIST benchmark. Finally, we propose a simple modification of the implemented memristor-based vector-by-matrix multiplier to allow its operation in a wider temperature range.

研究の動機と目的

• 分類タスクを実行可能な、複雑で完全にハードウェア実装されたメモリスティブ神経モルフィックネットワークの開発。
• 大規模神経モルフィックシステムにおけるメモリスティブのばらつきおよびアナログCMOSニューロンの非理想性といったハードウェア上の欠陥の対処。
• 準自動フォーミングおよびテスト手法を用いることで、メモリスティブクロスバー配列のスケーラビリティの向上。
• 修正されたメモリスティブベースのベクトル・マトリックス乗算器により、温度変動に強い耐性の向上。
• 実験的結果とMNISTベンチマークにおける大規模モデリングを用いた、耐性スキームの妥当性の検証。

提案手法

• ネットワークは、2つの20×20のパassiveメモリスティブクロスバー配列を、離散的CMOS部品と統合して3層MLPパーセプトロンを実装する。
• 隠れ層および出力層にはアナログCMOSニューロンを用い、428個の金属酸化物メモリスティブがシナプス重みを形成する。
• 大規模クロスバー配列のフォーミングおよびテストを管理するための準自動的手法を開発した。
• メモリスティブおよびCMOSニューロンの非理想性とばらつきを補償するため、複数のメモリスティブトレーニング方式を評価した。
• 動作温度範囲を拡張するため、修正されたベクトル・マトリックス乗算器設計を提案した。
• 耐性スキームの有効性は、実験的検証およびMNIST上で300ニューロンの隠れ層ネットワークをシミュレートすることで検証された。

実験結果

リサーチクエスチョン

• RQ1 400個を超えるメモリスティブを備えた完全にハードウェアベースの神経モルフィックネットワークを、分類タスクに成功裏に実装・稼働させることができるか？
• RQ2 異なるトレーニング方式は、メモリスティブおよびCMOSニューロンの不具合に対してどれほど効果的に補償できるか？
• RQ3 準自動的手法は、大規模メモリスティブクロスバー配列のフォーミングおよびテストを信頼性高く実施できるか？
• RQ4 デバイスのばらつきおよび温度変動下でも、ネットワークの精度をどの程度維持できるか？
• RQ5 実験的およびモデリング的検証を用いて、MNISTのようなより大きなベンチマークに本システムをスケーリングできるか？

主な発見

• 実装された3層ネットワークは、ハードウェアベースの推論のみを用いて4×4バイナリ画像を4クラスに分類に成功し、先行研究と比べてシステム複雑度がほぼ1桁大きいことを示した。
• 提案されたトレーニング方式は、メモリスティブの非理想性およびCMOSニューロンのばらつきの影響を効果的に軽減し、信頼性の高い動作を可能にした。
• 実験的検証により、実ハードウェア環境下での耐性メカニズムの強靭性が確認された。
• モデリング結果から、300個の隠れ層ニューロンを備えたより大きなネットワークがMNISTベンチマークで妥当な性能を示すことが判明し、スケーラビリティの可能性が示された。
• 修正されたメモリスティブベースのベクトル・マトリックス乗算器は、広い温度範囲で安定した動作を可能にし、実用的導入の可能性を高めた。
• 準自動フォーミングおよびテスト手法により、大規模クロスバー配列の効率的統合および特性評価が可能となり、今後のスケーリングを支援した。