[論文レビュー] Implementation of Multilayer Perceptron Network with Highly Uniform Passive Memristive Crossbar Circuits

F. Merrikh Bayat, M. Prezioso+3 more|arXiv (Cornell University)|Dec 4, 2017

Advanced Memory and Neural ComputingEngineering参考文献 2被引用数 18

ひとこと要約

本論文は、CMOS部品と統合された2つの20×20パassiveメモリスティブクロスバー配列を用いて、完全にハードウェア実装された多層パーセプトロン分類器を実現し、メモリスティブの均一性を向上させることで、シミュレーション精度の97％を達成した。このシステムは、事前学習（ex-situ training）アプローチを用いて高い分類忠実度を達成し、アナログメモリスティブハードウェアを用いたニューロモルフィックコンピューティング分野における顕著な前進を示している。

ABSTRACT

The progress in the field of neural computation hinges on the use of hardware more efficient than the conventional microprocessors. Recent works have shown that mixed-signal integrated memristive circuits, especially their passive ('0T1R') variety, may increase the neuromorphic network performance dramatically, leaving far behind their digital counterparts. The major obstacle, however, is relatively immature memristor technology so that only limited functionality has been demonstrated to date. Here we experimentally demonstrate operation of one-hidden layer perceptron classifier entirely in the mixed-signal integrated hardware, comprised of two passive 20x20 metal-oxide memristive crossbar arrays, board-integrated with discrete CMOS components. The demonstrated multilayer perceptron network, whose complexity is almost 10x higher as compared to previously reported functional neuromorphic classifiers based on passive memristive circuits, achieves classification fidelity within 3 percent of that obtained in simulations, when using ex-situ training approach. The successful demonstration was facilitated by improvements in fabrication technology of memristors, specifically by lowering variations in their I-V characteristics.

研究の動機と目的

• パssiveメモリスティブクロスバーを用いた完全なハードウェア実装多層パーセプトロン分類器の開発を目的とし、効率的なニューロモルフィックコンピューティングを実現すること。
• 未熟なメモリスティブ素子技術の限界を克服するため、デバイスの均一性を向上させ、I-V特性のばらつきを低減すること。
• 従来のパssiveメモリスティブ分類器よりもはるかに高い複雑性を有するスケーラブルでミックスシグナル型のニューロモルフィックシステムの実証を目的とすること。
• 事前学習（ex-situ training）アプローチを用いてシステムの性能を検証し、シミュレーションベンチマークと比較すること。
• パssiveメモリスティブアレイと離散的CMOS部品を統合することで、メモリスティブベースのニューラルネットワークの実用的展開を可能とすること。

提案手法

• システムは、1層の隠れ層を持つパーセプトロンの重み行列を実装するために、2つの20×20パssiveメモリスティブクロスバー配列を用いる。
• メモリスティブ素子は、I-V特性のばらつきを低減し、デバイスの一貫性を向上させるために、改善された均一性で製造されている。
• クロスバー配列は、信号処理、バイアス、読み出しのための離散的CMOS部品と基板上に統合されている。
• 事前学習（ex-situ training）アプローチが採用されており、ネットワークの重みはオフラインで計算され、メモリスティブクロスバーにマッピングされている。
• システムは、アナログ重みとデジタル制御論理を併用したミックスシグナル処理により推論を実行している。
• 分類性能は、ハードウェアの結果とシミュレーションベンチマークの比較によって評価されている。

実験結果

リサーチクエスチョン

• RQ1 パssiveメモリスティブクロスバーを用いた完全なハードウェア実装多層パーセプトロンが、高い忠実度で実現可能であるか？
• RQ2 向上したメモリスティブの均一性が、ニューロモルフィックハードウェアの性能にどの程度寄与するか？
• RQ3 事前学習（ex-situ training）を用いた場合、ハードウェアベースの多層パーセプトロンの分類精度は、シミュレーションと比べてどの程度か？
• RQ4 パssiveメモリスティブクロスバーは、これまでに報告されたものよりもはるかに高いネットワーク複雑性をサポートできるか？
• RQ5 CMOS統合は、メモリスティブニューロモルフィックシステムの安定的かつ正確な動作を実現するために果たす役割は何か？

主な発見

• ハードウェア実装多層パーセプトロンは、シミュレーションベンチマークと比較して3％以内の分類精度を達成し、高い忠実度を示した。
• 本システムの複雑性は、従来のパssiveメモリスティブ回路に基づく機能的ニューロモルフィック分類器と比較して、ほぼ10倍高い。
• 改善されたメモリスティブ素子のプロセスにより、I-V特性のばらつきが低減され、クロスバー配列の信頼性ある動作が可能になった。
• 離散的CMOS部品と統合されたパssiveメモリスティブクロスバーにより、安定的かつ正確な推論が実現された。
• 事前学習（ex-situ training）アプローチにより、事前に計算された重みがハードウェアに正しくマッピングされ、一貫性のある性能が確保された。
• 結果から、パssiveメモリスティブクロスバーがスケーラブルで高性能なニューロモルフィックコンピューティングに利用可能であることが確認された。