[論文レビュー] Harnessing Intrinsic Noise in Memristor Hopfield Neural Networks for Combinatorial Optimization

Fuxi Cai, Suhas Kumar+9 more|arXiv (Cornell University)|Mar 26, 2019

Advanced Memory and Neural Computing参考文献 68被引用数 25

ひとこと要約

本稿では、マックスカットなどのNP困難な組合せ最適化問題を解くために、クロスバー配列内の内在的アナログノイズを計算リソースとして活用するメモリスタベースのホープフィールドニューラルネットワーク（mem-HNN）を提案する。CMOS-メモリスタハイブリッドアーキテクチャにおける大規模並列アナログ演算を活用することで、デジタルまたは量子アニーリング手法と比較して、単位電力あたり10,000倍以上の解決スループットを達成し、室温で動作し、スケーラビリティとノイズ耐性性能を示す。

ABSTRACT

We describe a hybrid analog-digital computing approach to solve important combinatorial optimization problems that leverages memristors (two-terminal nonvolatile memories). While previous memristor accelerators have had to minimize analog noise effects, we show that our optimization solver harnesses such noise as a computing resource. Here we describe a memristor-Hopfield Neural Network (mem-HNN) with massively parallel operations performed in a dense crossbar array. We provide experimental demonstrations solving NP-hard max-cut problems directly in analog crossbar arrays, and supplement this with experimentally-grounded simulations to explore scalability with problem size, providing the success probabilities, time and energy to solution, and interactions with intrinsic analog noise. Compared to fully digital approaches, and present-day quantum and optical accelerators, we forecast the mem-HNN to have over four orders of magnitude higher solution throughput per power consumption. This suggests substantially improved performance and scalability compared to current quantum annealing approaches, while operating at room temperature and taking advantage of existing CMOS technology augmented with emerging analog non-volatile memristors.

研究の動機と目的

• NP困難な組合せ最適化問題を解くためのスケーラブルでエネルギー効率の高いアナログ・デジタルハイブリッドアーキテクチャの開発。
• 従来のアナログノイズを欠陥と見なす視点を覆し、最適化における計算リソースとして再利用すること。
• 実験的およびシミュレーションベースの検証を通じて、メモリスタクロスバー配列がマックスカット問題を解く上で実用的であることを示すこと。
• 解決スループットとエネルギー効率の観点から、デジタル、量子、光学アクセラレータと比較して性能をベンチマークすること。
• 将来の室温動作、CMOS互換性を持つハードウェアアクセラレータの道筋を、新規の不揮発性メモリデバイスを用いて確立すること。

提案手法

• mem-HNNは、ホープフィールドエネルギー関数を実装するためのメモリスタの密なクロスバー配列を採用し、大規模並列な状態更新を可能にする。
• メモリスタに内在するアナログノイズを、最適化中の局所的最小値からの脱出を促す確率的摂動メカニズムとして活用する。
• アナログ計算をメモリスタ配列で実行し、状態補正と収束モニタリングのためにデジタルフィードバックを用いるハイブリッドアナログ・デジタル制御方式を採用する。
• 問題インスタンスは初期重みとバイアスに符号化され、ネットワークは有効な解に対応する低エネルギー状態へと進化する。
• 成功確率、解決に要する時間、エネルギー消費量は、さまざまな問題サイズにおいて実験的根拠に基づくシミュレーションを通じて評価される。
• スケーラビリティをモデル化するため、実際のメモリスタデバイスとノイズを組み込んだシミュレーションを用いて、マックスカット問題に対する手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 メモリスタクロスバーに内在するアナログノイズは、誤差の原因ではなく、計算リソースとして効果的に活用可能か？
• RQ2 デジタルおよび量子アニーリングシステムと比較して、mem-HNNはNP困難なマックスカット問題をどの程度効率的に解けるか？
• RQ3 問題サイズが増加するに従い、mem-HNNの解決スループットとエネルギー効率におけるスケーラビリティはいかがなっているか？
• RQ4 デバイスの非理想性とノイズが存在する中で、ハイブリッドアナログ・デジタル制御方式は解の整合性をどのように維持しているか？
• RQ5 エネルギー遅延積と単位電力あたりのスループットの観点から、既存のアクセラレータと比較してmem-HNNは顕著な性能優位性を達成できるか？

主な発見

• mem-HNNは、完全にデジタルなシステムおよび現在の量子・光学アクセラレータと比較して、単位電力あたり4桁以上の高い解決スループットを達成する。
• 実験的デモンストレーションにより、高確率でアナログメモリスタクロスバー配列内で直接マックスカット問題が解かれたことが示された。
• シミュレーションにより、数千変数にまで拡大する問題サイズに対しても、高い解決品質を維持するアーキテクチャのスケーラビリティが確認された。
• システムは内在的ノイズを活用して局所的最小値からの脱出を促進し、グローバルまたは近似的に最良の解への収束を改善した。
• このアーキテクチャは室温で動作可能であり、既存のCMOS技術と互換性があるため、実用的統合が可能である。
• 1解決あたりのエネルギー消費量は、デジタルおよび量子アニーリングシステムと比較して顕著に低く、エネルギー効率において10,000倍の改善が予測された。