[论文解读] A Brain-Inspired Low-Dimensional Computing Classifier for Inference on Tiny Devices

Shijin Duan, Xiaolin Xu+1 more|arXiv (Cornell University)|Mar 9, 2022

Ferroelectric and Negative Capacitance Devices被引用 8

一句话总结

本文提出一种受大脑启发的低维计算（LDC）分类器，用基于等效神经网络的系统化、可微训练方法替代传统超维计算（HDC），在显著提升推理准确率的同时，将模型尺寸、延迟和能耗降低数个数量级——在MNIST数据集上实现6.48 KB模型尺寸、3.99 μs延迟和64 nJ能耗，优于当前最先进（SOTA）的HDC模型。

ABSTRACT

By mimicking brain-like cognition and exploiting parallelism, hyperdimensional computing (HDC) classifiers have been emerging as a lightweight framework to achieve efficient on-device inference. Nonetheless, they have two fundamental drawbacks, heuristic training process and ultra-high dimension, which result in sub-optimal inference accuracy and large model sizes beyond the capability of tiny devices with stringent resource constraints. In this paper, we address these fundamental drawbacks and propose a low-dimensional computing (LDC) alternative. Specifically, by mapping our LDC classifier into an equivalent neural network, we optimize our model using a principled training approach. Most importantly, we can improve the inference accuracy while successfully reducing the ultra-high dimension of existing HDC models by orders of magnitude (e.g., 8000 vs. 4/64). We run experiments to evaluate our LDC classifier by considering different datasets for inference on tiny devices, and also implement different models on an FPGA platform for acceleration. The results highlight that our LDC classifier offers an overwhelming advantage over the existing brain-inspired HDC models and is particularly suitable for inference on tiny devices.

研究动机与目标

• 解决超维计算（HDC）在微型设备推理中的根本局限：极高的维度和启发式训练方法。
• 克服现有HDC模型在资源受限的边缘设备上存在的次优推理准确率和过大的模型尺寸问题。
• 开发一种低维计算（LDC）框架，在保持类脑认知能力的同时实现高效的硬件部署。
• 通过神经网络映射实现LDC模型的端到端、可微训练，替代启发式超向量平均方法。
• 在准确率、模型尺寸、延迟和能效方面，实现优于当前最先进HDC模型的性能表现。

提出的方法

• 将LDC分类器的推理过程映射为由非二值化网络后接二值化神经网络（BNN）组成的等效神经网络架构。
• 通过可微的、损失函数引导的训练过程优化模型权重，实现系统化学习而非启发式平均。
• 从训练后的网络中提取优化后的低维向量（如4/64比特）以表示特征和类别，替代高维超向量（如8000+比特）。
• 使用归一化汉明距离作为分类的相似性度量，等价于对双极向量的余弦相似度。
• 在FPGA上实现LDC模型以实现硬件加速，且资源约束严格。
• 通过多个LDC分类器的多数投票机制提升鲁棒性，同时几乎不增加模型尺寸。

实验结果

研究问题

• RQ1 能否设计一种低维、可微的HDC替代方案，在保持类脑认知能力的同时提升推理准确率？
• RQ2 与HDC模型中的启发式超向量平均方法相比，低维向量的系统化、基于损失的训练方法有何差异？
• RQ3 通过降维和优化训练，HDC类模型的模型尺寸、推理延迟和能耗最多可降低多少？
• RQ4 LDC分类器能否在内存和计算资源有限的微型设备上实现高于SOTA HDC模型的准确率并保持高效运行？
• RQ5 在真实硬件约束下，LDC框架在多种数据集（如MNIST、胎心监护）上的表现如何？

主要发现

• LDC分类器在MNIST数据集上达到92.72%的准确率，显著优于SOTA HDC模型（87.38%）。
• LDC模型在MNIST上的模型尺寸仅为6.48 KB，相比SOTA HDC模型缩小了100倍以上。
• 在MNIST上，推理延迟降低至3.99微秒，能耗降低至64纳焦耳，均比SOTA HDC模型低100倍以上。
• 在胎心监护数据集上，LDC分类器实现90.50%的准确率，模型尺寸为0.32 KB，延迟0.14 μs，能耗0.945 nJ。
• LDC框架可在FPGA上实现硬件加速，且资源使用极少，充分证明其在微型物联网设备中的高度适用性。
• 采用可微训练过程可生成比启发式方法更优的特征和类别向量表示，从而提升鲁棒性和准确率。