[論文レビュー] Hyperdimensional Computing Nanosystem

Abbas Rahimi, Tony F. Wu+5 more|arXiv (Cornell University)|Nov 23, 2018

Ferroelectric and Negative Capacitance Devices参考文献 40被引用数 4

ひとこと要約

本論文は、炭素ナノチューブFET（CNFET）と抵抗性メモリ（RRAM）を統合したモノリシック3Dナノシステムを提示し、エネルギー効率的で耐障害性に優れた機械学習を実現するためのハイパーサイズ（HD）コンピューティングを実装する。このシステムは、1言語あたり1つのトレーニングサンプルのみで21言語を分類する際、98%の正確性を達成し、78%のハードウェアビットエラーが発生しても98%の正確性を維持する。これは、CMOS比で最大420倍のエネルギー効率と25倍の面積削減を実現する。

ABSTRACT

One viable solution for continuous reduction in energy-per-operation is to rethink functionality to cope with uncertainty by adopting computational approaches that are inherently robust to uncertainty. It requires a novel look at data representations, associated operations, and circuits, and at materials and substrates that enable them. 3D integrated nanotechnologies combined with novel brain-inspired computational paradigms that support fast learning and fault tolerance could lead the way. Recognizing the very size of the brain's circuits, hyperdimensional (HD) computing can model neural activity patterns with points in a HD space, that is, with hypervectors as large randomly generated patterns. At its very core, HD computing is about manipulating and comparing these patterns inside memory. Emerging nanotechnologies such as carbon nanotube field effect transistors (CNFETs) and resistive RAM (RRAM), and their monolithic 3D integration offer opportunities for hardware implementations of HD computing through tight integration of logic and memory, energy-efficient computation, and unique device characteristics. We experimentally demonstrate and characterize an end-to-end HD computing nanosystem built using monolithic 3D integration of CNFETs and RRAM. With our nanosystem, we experimentally demonstrate classification of 21 languages with measured accuracy of up to 98% on >20,000 sentences (6.4 million characters), training using one text sample (~100,000 characters) per language, and resilient operation (98% accuracy) despite 78% hardware errors in HD representation (outputs stuck at 0 or 1). By exploiting the unique properties of the underlying nanotechnologies, we show that HD computing, when implemented with monolithic 3D integration, can be up to 420X more energy-efficient while using 25X less area compared to traditional silicon CMOS implementations.

研究の動機と目的

• ナノスケール領域における従来のCMOSコンピューティングのエネルギーおよびスケーラビリティの限界を克服するため、計算モデルを再考すること。
• ナノスケール技術におけるデバイスのばらつきと不確実性が増大する中で、耐障害性があり低消費電力な機械学習を実現すること。
• ハイパーサイズコンピューティングを活用したハードウェア・ソフトウェア共同最適化アプローチを開発し、最小限のエネルギーと面積で耐障害性に優れたワンショット学習を実現すること。
• モノリシック3D統合によるCNFETとRRAMの完全統合を実現し、実世界の分類タスクを対象としたエンド・ツー・エンドのHDコンピューティングシステムを実証すること。

提案手法

• ハイパーサイズ（HD）コンピューティングを活用し、データを高次元のハイパーベクトル（例：10,000ビットベクトル）として表現することで、耐障害性に優れた関連的計算を実現する。
• CNFETおよびRRAMの内在的デバイスばらつきを活用し、時間符号化論理によるハイパーベクトル符号化に必要なランダム遅延を生成することで、複雑な乱数生成回路の必要性を排除する。
• 段階的RRAMリセットを用いた近似インクリメント回路を採用し、デジタル同等の回路に比べてトランジスタ数を30倍削減して、ベクトル加算を実現する。
• 推論時に効率的な一致検索を実現するため、2T2R TCAMセル（2つのCNFET + 2つのRRAM）を用いたアソシエイティブメモリを実装し、高速な分類を可能にする。
• モノリシック3D統合により、論理回路（CNFET）と非揮発性メモリ（RRAM）を同一位置に配置し、データ移動を最小限に抑え、メモリ内計算を実現する。
• RRAMのマルチレベル抵抗状態とCNFETのばらつきを活用したハードウェアに配慮した設計により、最小限の面積とエネルギーで主要なHD演算を実装する。

実験結果

リサーチクエスチョン

• RQ1 CNFETとRRAMのモノリシック3D統合は、スケーラブルでエネルギー効率の高いハイパーサイズコンピューティングのハードウェアプラットフォームを実現できるか？
• RQ2 高いエラー率を示すナノスケールデバイスに実装されたHDコンピューティングは、ハードウェア障害に対してどれほど耐性があるか？
• RQ3 CNFETおよびRRAMの内在的デバイスばらつきを活用して、専用の乱数生成回路を必要とせずにランダムハイパーベクトルを生成できるか、その程度はどの程度か？
• RQ4 近似的で低消費電力な回路技術（例：段階的RRAMリセット）は、ベクトル加算などのHD演算において、従来のデジタル論理を効果的に置き換えられるか？
• RQ5 従来のCMOS実装と比較して、CNFET-RRAM 3DシステムにおけるHDコンピューティングのエネルギーおよび面積効率の向上はどの程度か？

主な発見

• 本ナノシステムは、1言語あたり1つのテキストサンプルのみを用いて21言語の分類を実行し、98%の正確性を達成し、ワンショット学習の有効性を示した。
• ハードウェア障害によりハイパーベクトル表現の80%以上のビットが0または1に固定されても、システムは98%の正確性を維持した。これは、デバイスレベルのエラーに対して強い耐性を示している。
• 本システムは、最先端のシリコンCMOS実装と比較して、最大420倍のエネルギー効率向上と25倍の面積削減を達成した。
• 段階的RRAMリセットを用いた近似インクリメント回路により、完全なデジタル実装と比較してトランジスタ数を30倍削減し、コンactで低消費電力なベクトル算術を実現した。
• 2T2Rセルを用いたTCAMベースの検索モジュールは、非揮発性RRAMのリーク電流低減により、SRAMベースのTCAMと比較して19倍低い1操作あたりのエネルギー消費を達成した。
• 28nmプロセスノードにおいて、CMOSと比較して7.6倍低いエネルギー消費と4.6倍速い実行時間を達成し、スケーリングされた技術ノードにおける性能と効率の優位性を示した。