[論文レビュー] A Homogeneous Processing Fabric for Matrix-Vector Multiplication and Associative Search Using Ferroelectric Time-Domain Compute-in-Memory

Xunzhao Yin, Qingrong Huang+9 more|arXiv (Cornell University)|Sep 24, 2022

Ferroelectric and Negative Capacitance Devices被引用数 5

ひとこと要約

本稿では、1つの2FeFETセル設計を用いて、バイナリ行列-ベクトル積（MAC）とコンテンツアドレスエイブルメモリ（CAM）の両方をネイティブにサポートする、均質なフェロエレクトリックFET（FeFET）時間ドメイン計算内メモリ（TD-CiM）アレイを提案する。FeFETを信号経路の外側に配置し、コンデンサ負荷を制御することで、完全なデジタル互換性、デバイス変動に対する耐性、およびMACとCAMワークロード間での動的かつ細分化された再構成を実現した。これにより、ハイパーサイディメンショナルコンピューティングワークロードにおいて、GPU比63倍の高速化と8563 TOPS/Wのエネルギー効率を達成した。

ABSTRACT

In this work, we propose a ferroelectric FET(FeFET) time-domain compute-in-memory (TD-CiM) array as a homogeneous processing fabric for binary multiplication-accumulation (MAC) and content addressable memory (CAM). We demonstrate that: i) the XOR(XNOR)/AND logic function can be realized using a single cell composed of 2FeFETs connected in series; ii) a two-phase computation in an inverter chain with each stage featuring the XOR/AND cell to control the associated capacitor loading and the computation results of binary MAC and CAM are reflected in the chain output signal delay, illustrating full digital compatibility; iii) comprehensive theoretical and experimental validation of the proposed 2FeFET cell and inverter delay chains and their robustness against FeFET variation; iv) the homogeneous processing fabric is applied in hyperdimensional computing to show dynamic and fine-grain resource allocation to accommodate different tasks requiring varying demands over the binary MAC and CAM resources.

研究の動機と目的

• 既存の時間ドメイン計算内メモリ（TD-CiM）アレイにおけるFeFETが信号経路上に配置されていることによる、デバイス変動への感受性と信号ブロッキングの問題を解決すること。
• FeFETを信号伝搬経路の外側に配置し、それらをコンデンサ負荷の制御に使用することで、完全なデジタル互換性と耐性を確保すること。
• 同じセルおよびアレイアーキテクチャを用いて、バイナリMACとCAMの両方をネイティブにサポートする、単一の均質な処理ファブリックを設計すること。
• 特にハイパーサイディメンショナルコンピューティング（HDC）応用において、ワークロードの要件に応じてMACとCAM間で動的かつ細分化されたリソース割り当てが可能であることを実証すること。
• 理論的分析、実験的テスト、およびGPUプラットフォームとのベンチマークを用いて、提案されたFeFET TD-CiMアレイの実現可能性と性能を検証すること。

提案手法

• FeFETを直列接続した非揮発性メモリ状態を活用することで、2FeFETセルがANDおよびXOR/XNOR論理関数を実装する。
• FeFETをインバータチェーンの負荷パスに配置し、信号経路上に置かないことで、各段階の静電容量を制御する。これにより信号整合性とデジタル互換性が保証される。
• 2段階の計算プロセスを採用する：まず入力データに基づいてFeFETの状態を設定し、次にインバータチェーン内を通過する信号の遅延を測定して計算結果を反映させる。
• インバータチェーンの遅延を用いて、バイナリMAC（AND論理）またはCAM（XOR/XNOR論理）の結果を符号化し、出力遅延をデジタルに検出する。
• FeFET状態の再プログラミングにより、MACモードとCAMモード間での動的再構成が可能となり、計算リソースの柔軟な割り当てが可能になる。
• HDC推論ワークロードのエネルギーと遅延をモデル化するために、サイクル正確なPyTorchベースのシミュレータを用い、提案されたTD-CiMアレイ上でMACおよびCAM操作をエミュレートする。

実験結果

リサーチクエスチョン

• RQ1 同じセルおよびアーキテクチャを用いて、1つのFeFETベースTD-CiMアレイが、バイナリMACとCAMの両方をネイティブにサポートできるか？
• RQ2 FeFETを信号経路の外側に再配置することで、時間ドメインコンピューティングにおいてデバイス変動への耐性を高めるとともに、デジタル互換性を維持できるか？
• RQ3 提案された設計が、変動するワークロード要件に応じて、MACとCAM間でどれほど動的かつ柔軟にリソースを割り当てられるか？
• RQ4 提案されたTD-CiMアレイは、実世界のワークロード、特にハイパーサイディメンショナルコンピューティングにおいて、どの程度の性能とエネルギー効率を達成できるか？
• RQ5 提案されたFeFET TD-CiMアレイは、既存のCiMおよびGPUプラットフォームと比較して、エネルギー効率、速度、再構成性の面でどのように優れているか？

主な発見

• 2FeFETセルはANDおよびXOR/XNOR論理関数を効率的に実装でき、高い信頼性を備えた1セルでの二重機能を実現した。
• FeFETベースTD-CiMアレイは8563 TOPS/Wのエネルギー効率を達成し、先行研究およびGPUプラットフォームを大きく上回った。
• 顔認識、アクティビティ認識、音声認識のタスクにおいて、GeForce RTX 3060 Ti GPUと比較して63倍の高速化と106倍のエネルギー削減を実現した。
• FeFETの変動に対して設計が頑健である。FeFETが信号経路上にないため、FeFETのコンダクタンスの変動が信号に影響を与えない。
• 均質な処理ファブリックにより、HDCにおけるワークロード固有の要件に応じて、MACとCAMモード間での動的かつ細分化された再構成が可能になった。
• 本研究は、1つのセルタイプを用いて単一のTD-CiMアレイで再構成可能で高効率なMACとCAMを実現した最初のソリューションであり、完全なデジタル互換性と低周辺回路複雑性を兼ね備えている。