[論文レビュー] Non-volatile Hierarchical Temporal Memory: Hardware for Spatial Pooling

Lennard G Streat, Dhireesha Kudithipudi+1 more|arXiv (Cornell University)|Nov 9, 2016

Advanced Memory and Neural Computing参考文献 19被引用数 10

ひとこと要約

本稿では、フラッシュメモリを活用してスケーラブルで低消費電力なメモリ内演算を実現する、階層的時系列記憶（HTM）の空間プールャー用の非揮発性ハードウェアアーキテクチャを提案する。動作モデルを用いた評価でMNISTデータセットで91.98%の精度を達成し、TSMC 180nmプロセスにおける30.538mm²のレイアウトと64.394mWの消費電力により、神経形態的システムにおけるストレージ・プロセッシング共同設計の実現可能性を検証した。

ABSTRACT

Hierarchical Temporal Memory (HTM) is a biomimetic machine learning algorithm imbibing the structural and algorithmic properties of the neocortex. Two main functional components of HTM that enable spatio-temporal processing are the spatial pooler and temporal memory. In this research, we explore a scalable hardware realization of the spatial pooler closely coupled with the mathematical formulation of spatial pooler. This class of neuromorphic algorithms are advantageous in solving a subset of the future engineering problems by extracting nonintuitive patterns in complex data. The proposed architecture, Non-volatile HTM (NVHTM), leverages large-scale solid state flash memory to realize a optimal memory organization, area and power envelope. A behavioral model of NVHTM is evaluated against the MNIST dataset, yielding 91.98% classification accuracy. A full custom layout is developed to validate the design in a TSMC 180nm process. The area and power profile of the spatial pooler are 30.538mm2 and 64.394mW, respectively. This design is a proof-of-concept that storage processing is a viable platform for large scale HTM network models.

研究の動機と目的

• 大規模な神経形態的システム向けに、スケーラブルで低消費電力なHTM空間プールャーのハードウェア実装が不足しているという問題に対処すること。
• HTMに向けた代替手段として、スケーラビリティとエネルギー効率に優れたフラッシュメモリを活用した、非揮発性メモリ（NVM）中心のアーキテクチャを検討すること。
• SSD内に処理と記憶を統合することで、データ移動を削減し並列性を向上させる、メモリ内演算を実現すること。
• TSMC 180nmプロセスにおけるフルカスタムレイアウトを用いた面積・消費電力・性能推定を通じて、設計の実現可能性を検証すること。
• 将来のNVM技術（PCMやメモリスタなど）に応用可能な、時間記憶部への応用拡張の基盤を構築すること。

提案手法

• 空間プールャーは、OVPipe（重ね合わせ計算）、WBPipe（ウィノウイング）、および恒久的値と入力シナプスを格納するフラッシュメモリに基づくメモリ階層を備えたパイプラインアーキテクチャで実装される。
• メモリマップド構成モデルを採用し、アドレス指定可能なフラッシュアレイを介してシナプス重みや状態変数に直接アクセスすることで、外部メモリへのデータ移動を最小限に抑える。
• MNISTデータセットを用いた評価のための動作モデルを開発し、分類性能は外部のSVMを用いてHTM性能を評価する。
• TSMC 180nmプロセスでフルカスタムレイアウトを合成し、寄生パラメータ抽出とEldoシミュレーションを用いて各部品の消費電力を推定する。
• チャネルベースの組織化を採用し、OVPipe、WBPipe、補助部品を含むモジュラーな式を用いて、各チャネルごとの面積・消費電力を推定し、合算する。
• スケーラビリティを考慮した設計となっており、将来的にSSDとしての統合が可能で、再構成可能なプラットフォームや、動的プルーニングおよび時間多重技術を用いた時間記憶部への応用も想定できる。

実験結果

リサーチクエスチョン

• RQ1 フラッシュベースの非揮発性ハードウェアアーキテクチャは、許容可能な面積および消費電力のオーバーヘッドで、HTMの空間プールャー機能を効果的に実装できるか？
• RQ2 NVMベースの空間プールャーの性能は、ソフトウェア実装やDRAMベースの実装と比較して、精度および遅延の面でどのように異なるか？
• RQ3 標準プロセス（180nm）におけるスケーラブルなHTM空間プールャー用のフルカスタムCMOSレイアウトの面積および消費電力プロファイルはどのようなものか？
• RQ4 フラッシュメモリにおけるメモリ内演算は、HTMシステムにおけるデータ移動をどの程度削減し、並列性を向上させられるか？
• RQ5 本設計は、オンライン学習や将来のNVM技術（PCMやメモリスタなど）への対応を可能にするか？

主な発見

• NVHTM空間プールャーの動作モデルは、SVMを併用した場合、MNISTデータセットで91.98%の分類精度を達成し、既存のHTM実装と比較して競争力のある性能を示した。
• TSMC 180nmプロセスにおけるフルカスタムレイアウトは30.538mm²の面積を占め、総消費電力が64.394mWであるため、SSDベースのシステムへの統合が現実的であることが示された。
• OVPipeおよびWBPipe部が、メモリ素子の高いスイッチング活動に起因し、消費電力の主な要因であることが判明し、各部の平均消費電力は5.171mWであった。
• 高い並列性を実現し、ホストCPUリソースへの依存を低減することで、システム帯域幅を節約し、エントレープライズ規模のデータ処理におけるスケーラブルな展開を可能にした。
• NVHTMパイプラインによる遅延は、ベースラインのSSDアクセス遅延と比較して桁違いに小さいため、SSD固有の遅延が存在する中でも、パススループロセッシングが実現可能である。
• アーキテクチャはスケーラブルかつ拡張可能であり、再構成可能なプラットフォームへの統合や、動的プルーニングおよび時間多重技術を用いた時間記憶部への応用拡張が可能である。