[论文解读] Deep Random Forest with Ferroelectric Analog Content Addressable Memory

Xunzhao Yin, Franz Müller+15 more|arXiv (Cornell University)|Oct 6, 2021

Ferroelectric and Negative Capacitance Devices参考文献 12被引用 11

一句话总结

本文提出了一种基于铁电场效应晶体管内容可寻址存储器（FeFET ACAM）的加速器，用于深度随机森林（DRF），实现了面向决策树分支分裂的节能、高速关联搜索。通过将决策边界作为FeFET中的模拟极化状态存储，该架构在能量效率和延迟方面分别相较基于CPU/ReRAM的DRF加速器实现了约10⁶×/16×和约10⁶×/2.5×的提升。

ABSTRACT

Deep random forest (DRF), which incorporates the core features of deep learning and random forest (RF), exhibits comparable classification accuracy, interpretability, and low memory and computational overhead when compared with deep neural networks (DNNs) in various information processing tasks for edge intelligence. However, the development of efficient hardware to accelerate DRF is lagging behind its DNN counterparts. The key for hardware acceleration of DRF lies in efficiently realizing the branch-split operation at decision nodes when traversing a decision tree. In this work, we propose to implement DRF through simple associative searches realized with ferroelectric analog content addressable memory (ACAM). Utilizing only two ferroelectric field effect transistors (FeFETs), the ultra-compact ACAM cell can perform a branch-split operation with an energy-efficient associative search by storing the decision boundaries as the analog polarization states in an FeFET. The DRF accelerator architecture and the corresponding mapping of the DRF model to the ACAM arrays are presented. The functionality, characteristics, and scalability of the FeFET ACAM based DRF and its robustness against FeFET device non-idealities are validated both in experiments and simulations. Evaluation results show that the FeFET ACAM DRF accelerator exhibits 10^6x/16x and 10^6x/2.5x improvements in terms of energy and latency when compared with other deep random forest hardware implementations on the state-of-the-art CPU/ReRAM, respectively.

研究动机与目标

• 为解决深度随机森林（DRF）在边缘设备上缺乏高效硬件加速的问题，提出一种轻量级、可解释的AI模型。
• 克服在资源受限的物联网环境中深度神经网络（DNNs）带来的高能耗和高延迟问题。
• 利用铁电模拟内容可寻址存储器（ACAM）实现高效、可扩展且鲁棒的DRF推理。
• 证明基于FeFET的ACAM能够以高精度和低面积开销执行决策树中的分支分裂操作。
• 验证系统在面对FeFET器件非理想性（如阈值电压变化和工艺失配）时的鲁棒性。

提出的方法

• 使用铁电场效应晶体管（FeFETs）实现DRF，将决策边界阈值以模拟极化状态存储。
• 仅使用两个FeFET设计超紧凑ACAM单元，用于在决策树中执行分支分裂决策的关联搜索。
• 将DRF模型映射至ACAM阵列，以在推理过程中实现并行、节能的模式匹配。
• 采用两级搜索策略：首先识别最高有效位（MSB）区间，再通过最低有效位（LSB）的M位进行精炼，实现高精度阈值匹配。
• 采用感应放大器检测匹配线电流放电，并根据阵列大小和漏电流调整时序。
• 通过SPICE仿真和真实器件非理想性下的实验表征，验证功能性和鲁棒性。

实验结果

研究问题

• RQ1 基于FeFET的模拟内容可寻址存储器能否高效加速深度随机森林中决策树的分支分裂操作？
• RQ2 与现有的基于CPU和ReRAM的DRF加速器相比，所提出的FeFET ACAM加速器在能耗和延迟方面表现如何？
• RQ3 该系统在多大程度上对FeFET器件参数变化（如阈值电压（VTH）失配和工艺变化）具有鲁棒性？
• RQ4 能否通过有限精度的FeFET ACAM单元扩展分支分裂阈值的精度？
• RQ5 在真实数据集（如MNIST和SEMG）中，决策边界变化对DRF分类精度有何影响？

主要发现

• FeFET ACAM DRF加速器相较于最先进的基于CPU的DRF实现，能量效率提升约10⁶×，延迟降低16×。
• 与基于ReRAM的DRF加速器相比，能量效率提升约10⁶×，延迟降低2.5×。
• 即使在FeFET阈值电压变化条件下，系统仍保持高分类准确率，标准差仅为存储窗口的4%，表明对器件非理想性具有强鲁棒性。
• 对于MNIST数据集，分类准确率在决策边界变化下保持稳定，因为二值输入对小阈值偏移具有鲁棒性。
• 对于SEMG数据集，只有当决策边界变化超过存储窗口的7%时，准确率下降才变得明显，而FeFET实际观测到的变异仅为4%，远低于临界阈值。
• 128×128的FeFET ACAM阵列成功实现了针对EEG和PET/CT癫痫检测的3位精度随机森林，单次分类能耗为2.91 pJ，分类时延为1.9 ns。