[论文解读] A Homogeneous Processing Fabric for Matrix-Vector Multiplication and Associative Search Using Ferroelectric Time-Domain Compute-in-Memory

Xunzhao Yin, Qingrong Huang+9 more|arXiv (Cornell University)|Sep 24, 2022

Ferroelectric and Negative Capacitance Devices被引用 5

一句话总结

该论文提出了一种同质铁电场效应晶体管（FeFET）时域存内计算（TD-CiM）阵列，采用单一2FeFET单元设计，原生支持二值矩阵-向量乘法（MAC）和内容可寻址存储器（CAM）。通过将FeFET置于信号路径之外并用于控制电容加载，该设计实现了全数字兼容性、对器件失配的鲁棒性，以及在MAC与CAM工作负载之间动态、细粒度的重构，实现了8563 TOPS/W的能效，并在超维计算工作负载中相较GPU实现63倍加速。

ABSTRACT

In this work, we propose a ferroelectric FET(FeFET) time-domain compute-in-memory (TD-CiM) array as a homogeneous processing fabric for binary multiplication-accumulation (MAC) and content addressable memory (CAM). We demonstrate that: i) the XOR(XNOR)/AND logic function can be realized using a single cell composed of 2FeFETs connected in series; ii) a two-phase computation in an inverter chain with each stage featuring the XOR/AND cell to control the associated capacitor loading and the computation results of binary MAC and CAM are reflected in the chain output signal delay, illustrating full digital compatibility; iii) comprehensive theoretical and experimental validation of the proposed 2FeFET cell and inverter delay chains and their robustness against FeFET variation; iv) the homogeneous processing fabric is applied in hyperdimensional computing to show dynamic and fine-grain resource allocation to accommodate different tasks requiring varying demands over the binary MAC and CAM resources.

研究动机与目标

• 为解决现有时域存内计算（TD-CiM）阵列中FeFET位于信号路径内导致对器件失配敏感及信号阻塞的问题。
• 通过将FeFET移至信号传播路径之外，改用其控制电容加载，实现全数字兼容性与鲁棒性。
• 设计一种单一、同质的处理架构，原生支持使用相同单元与阵列结构的二值MAC与CAM操作。
• 在超维计算（HDC）应用中，基于工作负载需求，实现MAC与CAM之间动态、细粒度的资源分配。
• 通过理论分析、实验测试及与GPU平台的基准测试，验证所提FeFET TD-CiM阵列的可行性与性能。

提出的方法

• 设计2FeFET单元，通过串联配置的FeFET非易失性存储状态，实现与非（AND）及异或/同或（XOR/XNOR）逻辑功能。
• 将FeFET置于反相器链的负载路径中，控制每一级的电容，而非置于信号路径中，从而确保信号完整性与数字兼容性。
• 采用两阶段计算流程：首先根据输入数据设置FeFET状态；其次测量反相器链中信号传播延迟，以反映计算结果。
• 利用反相器链的延迟编码二值MAC（通过与非逻辑）或CAM（通过异或/同或逻辑）的结果，输出延迟以数字方式感测。
• 通过重新编程FeFET状态，实现MAC与CAM模式之间的动态重构，支持计算资源的灵活分配。
• 使用基于PyTorch的周期精确仿真器，对HDC推理工作负载的能量与延迟进行建模，模拟在所提出的TD-CiM阵列上执行MAC与CAM操作。

实验结果

研究问题

• RQ1 能否通过同一单元与架构，使基于FeFET的TD-CiM阵列原生支持二值MAC与CAM操作？
• RQ2 如何将FeFET重新定位至信号路径之外，以提升时域计算中对器件失配的鲁棒性并保持数字兼容性？
• RQ3 所提设计在多大程度上能根据工作负载需求的变化，实现MAC与CAM之间动态且灵活的资源分配？
• RQ4 所提TD-CiM阵列在真实工作负载（如超维计算）中的性能与能效表现如何？
• RQ5 与现有CiM及GPU平台相比，所提FeFET TD-CiM在能效、速度与可重构性方面表现如何？

主要发现

• 2FeFET单元成功实现与非（AND）及异或/同或（XOR/XNOR）逻辑功能，实现单单元内双重功能，可靠性高。
• 基于FeFET的TD-CiM阵列实现8563 TOPS/W的能效，显著优于先前工作及GPU平台。
• 与GeForce RTX 3060 Ti GPU相比，系统在人脸识别、活动识别与语音识别任务中分别实现63倍加速与106倍能效降低。
• 由于FeFET位于信号路径之外，设计对FeFET失配具有鲁棒性，信号路径不受FeFET电导波动影响。
• 同质处理架构支持MAC与CAM模式之间的动态、细粒度重构，可自适应响应超维计算中的工作负载需求。
• 该方案是首个在单一TD-CiM阵列中实现可重构、高能效MAC与CAM的解决方案，采用单一单元类型，具备全数字兼容性与低外围复杂度。