[論文レビュー] SEE-MCAM: Scalable Multi-bit FeFET Content Addressable Memories for Energy Efficient Associative Search

Shengxi Shou, Che-Kai Liu+8 more|arXiv (Cornell University)|Oct 7, 2023

Ferroelectric and Negative Capacitance Devices被引用数 4

ひとこと要約

本稿では、フェロエレクトリック FET（FeFET）のマルチレベルセル（MLC）機能を活用して、高密度でエネルギー効率の高い関連検索を実現するスケーラブルなマルチビット FeFET ベースのコンテンツアドレスエイブルメモリ（CAM）である SEE-MCAM を提案する。NOR 型および NAND 型の 2FeFET-1T および 2FeFET-2T CAM アーキテクチャを設計することで、SEE-MCAM はセルあたり 3 ビットを実現し、CMOS CAM と比較して 8% のビットあたり面積、9.8× の優れたエネルギー効率、CMOS CAM より 1.6× の低い検索遅延を達成する。また、量子化ハイパーサイディメンショナルコンピューティングワークロードにおいて、GPU 実装と比較して最大 3× の高速化およびエネルギー効率の向上を達成する。

ABSTRACT

In this work, we propose SEE-MCAM, scalable and compact multi-bit CAM (MCAM) designs that utilize the three-terminal ferroelectric FET (FeFET) as the proxy. By exploiting the multi-level-cell characteristics of FeFETs, our proposed SEE-MCAM designs enable multi-bit associative search functions and achieve better energy efficiency and performance than existing FeFET-based CAM designs. We validated the functionality of our proposed designs by achieving 3 bits per cell CAM functionality, resulting in 3x improvement in storage density. The area per bit of the proposed SEE-MCAM cell is 8% of the conventional CMOS CAM. We thoroughly investigated the scalability and robustness of the proposed design. Evaluation results suggest that the proposed 2FeFET-1T SEE-MCAM achieves 9.8x more energy efficiency and 1.6x less search latency compared to the CMOS CAM, respectively. When compared to existing MCAM designs, the proposed SEE-MCAM can achieve 8.7x and 4.9x more energy efficiency than ReRAM-based and FeFET-based MCAMs, respectively. Benchmarking results show that our approach provides up to 3 orders of magnitude improvement in speedup and energy efficiency over a GPU implementation in accelerating a novel quantized hyperdimensional computing (HDC) application.

研究の動機と目的

• AI ワークロードにおけるメモリウォールのボトル neck を解消するため、メモリ内に高密度で低エネルギーの関連検索を可能にする。
• 従来の NVM ベースのバイナリおよびマルチビット CAM が単一セル（SLC）動作に制限され、面積、エネルギー、デバイスばらつきへの感受性が高いため、それらの限界を克服する。
• FeFET のマルチレベルセル（MLC）特性を活用して、スケーラブルでコンact かつ耐障害性に優れたマルチビット CAM（MCAM）設計を実現し、エネルギー効率と性能を向上させる。
• 提案された FeFET ベースの MCAM の実現可能性と優位性を、特に量子化ハイパーサイディメンショナルコンピューティング（HDC）における実世界の AI ワークロードで検証する。

提案手法

• FeFET 1 個あたり複数ビットを格納できるように、MIBO（マルチレベルインバータベース出力）概念を用いた 2FeFET マルチレベルセル（MLC）構造を設計する。
• 最小限の面積およびエネルギーオーバーヘッドでマルチビット関連検索を可能にする、NOR 型 2FeFET-1T および NAND 型 2FeFET-2T の 2 種類の CAM アーキテクチャを提案する。
• ハイパーコンパクトベクトル要素を 3 ビット値にマップする非線形量子化方式を実装し、3 ビット/セルの SEE-MCAM 設計との互換性を確保する。
• SEE-MCAM を量子化ハイパーサイディメンショナルコンピューティング（HDC）フレームワークに統合し、GPU や他の CAM ベース実装と比較して性能とエネルギー効率をベンチマーク化する。
• 比較のためのベースラインとして 16T CMOS CAM を採用し、実データセット（ISOLET、UCIHAR、PAMAP）を用いたシミュレーションおよびハードウェアに配慮したベンチマークで性能を評価する。
• GPU および SEE-MCAM ベースの HDC ワークロードにおける正確な電力および遅延測定のために、Nvidia System Management Interface および PyTorch プロファイラを用いる。

実験結果

リサーチクエスチョン

• RQ1 FeFET ベースのマルチビット CAM は、既存のバイナリおよびマルチビット CAM よりも高いストレージ密度とエネルギー効率を達成できるか？
• RQ2 FeFET のマルチレベルセル（MLC）特性を効果的に活用することで、スケーラブルで低エネルギーのマルチビット関連検索を実現できるか？
• RQ3 実際の AI ワークロードにおいて、SEE-MCAM は CMOS ベースの CAM や他の NVM ベースの CAM と比較して、どのような性能向上とエネルギー効率の向上を達成するか？
• RQ4 バイナリ CAM や GPU 実装と比較して、SEE-MCAM は量子化ハイパーサイディメンショナルコンピューティング（HDC）アプリケーションにおいて、どれほど精度と効率を向上させるか？

主な発見

• 提案された 2FeFET-1T SEE-MCAM は、16T CMOS CAM と比較して 9.8× の高いエネルギー効率と 1.6× の低い検索遅延を達成する。
• SEE-MCAM はセルあたり 3 ビットの機能を実現し、バイナリ CAM と比較して 3× のストレージ密度向上を達成する。
• SEE-MCAM セルのビットあたり面積は、従来の CMOS CAM の 8% にまで低減され、顕著な面積スケーリングが実証された。
• ReRAM ベースおよび FeFET ベースの MCAM と比較して、SEE-MCAM はそれぞれ 8.7× および 4.9× の高いエネルギー効率を達成する。
• 量子化 HDC ワークロードにおいて、SEE-MCAM ベースの実装は、GPU（GTX 1080ti）実装と比較して、最大 3 時間程度の高速化およびエネルギー効率の向上を達成する。
• 3 ビットの SEE-MCAM は、2 ビットバージョンと比較して 2.41% の高い精度を達成し、ハイパーコンパクトベクトル次元の増加によるものである。また、バイナリ COSIME ベース実装と比較しても 2.26% の高い精度を達成する。