[论文解读] Hypervector Design for Efficient Hyperdimensional Computing on Edge Devices

Toygun Başaklar, Yiğit Tuncel+3 more|arXiv (Cornell University)|Mar 8, 2021

Ferroelectric and Negative Capacitance Devices参考文献 30被引用 11

一句话总结

本文提出了一种用于超维计算（HDC）的多目标优化框架，将超向量维度降低了32倍以上，同时保持或提升了准确率和鲁棒性。通过将超向量设计建模为优化问题，并采用非均匀量化，该方法在边缘设备上实现了模型大小、推理时间和能耗超过10倍的降低，且在四个健康监测应用中均得到验证。

ABSTRACT

Hyperdimensional computing (HDC) has emerged as a new light-weight learning algorithm with smaller computation and energy requirements compared to conventional techniques. In HDC, data points are represented by high-dimensional vectors (hypervectors), which are mapped to high-dimensional space (hyperspace). Typically, a large hypervector dimension ($\\geq1000$) is required to achieve accuracies comparable to conventional alternatives. However, unnecessarily large hypervectors increase hardware and energy costs, which can undermine their benefits. This paper presents a technique to minimize the hypervector dimension while maintaining the accuracy and improving the robustness of the classifier. To this end, we formulate the hypervector design as a multi-objective optimization problem for the first time in the literature. The proposed approach decreases the hypervector dimension by more than $32\ imes$ while maintaining or increasing the accuracy achieved by conventional HDC. Experiments on a commercial hardware platform show that the proposed approach achieves more than one order of magnitude reduction in model size, inference time, and energy consumption. We also demonstrate the trade-off between accuracy and robustness to noise and provide Pareto front solutions as a design parameter in our hypervector design.

研究动机与目标

• 解决传统HDC因依赖大维度超向量（≥1000）以实现可接受准确率而带来的高计算和能耗成本。
• 在不牺牲边缘设备应用中分类准确率或对噪声的鲁棒性前提下，降低超向量维度。
• 将超向量设计建模为多目标优化问题，以平衡准确率、鲁棒性和资源效率。
• 实现HDC在低功耗可穿戴物联网设备上的实际部署，满足严格的能效和计算约束。
• 提供准确率与鲁棒性之间权衡的帕累托最优解，以指导硬件感知的模型设计。

提出的方法

• 将超向量设计建模为多目标优化问题，以最小化维度，同时最大化准确率和鲁棒性。
• 引入一种非均匀量化策略，以优化随机生成的超向量在超空间中的分布，提升正交性和抗噪声能力。
• 利用超向量分布的几何建模来指导优化过程，增强各类编码器之间的分离度。
• 采用余弦相似度或汉明距离进行分类，利用二值运算的简洁性实现高效的硬件映射。
• 生成帕累托前沿解，以探索加权准确率（wAcc）与平均相似度（1-avgSim）之间的权衡，以衡量鲁棒性。
• 在商用边缘平台（Odroid XU3）上实现并评估优化后的HDC模型，使用C代码在低频A7核心上运行。

实验结果

研究问题

• RQ1 HDC中的超向量维度能否在不降低分类准确率的前提下显著降低？
• RQ2 与传统的随机映射相比，所提出的优化方法在抗噪声能力方面有何提升？
• RQ3 在低维HDC中，准确率与鲁棒性之间的权衡是什么？能否系统性地探索这一关系？
• RQ4 通过优化超向量设计，HDC的模型大小、推理时间和能耗最多可降低多少？
• RQ5 所提出的方法能否在保持或超越基线HDC性能的同时，实现效率指标超过10倍的提升？

主要发现

• 在PD Challenge数据集上，所提方法将超向量维度从2048降低至32（降低64倍），模型大小从7.5 MB减少至120.9 kB（降低62倍）。
• 在HAR数据集上，推理时间最高降低328倍（从128 ms降至0.39 ms），在HAR数据集上能耗最高降低1.51倍。
• 在所有四个评估的健康应用中，该方法实现了模型大小、推理时间和能耗均超过一个数量级的降低。
• 与基线HDC相比，其抗噪声能力通过1-avgSim指标衡量提升了2倍以上。
• 帕累托前沿分析揭示了准确率（wAcc）与鲁棒性（1-avgSim）之间存在清晰的权衡关系，为特定边缘部署场景下的设计选择提供了依据。
• 在Odroid XU3上的硬件评估结果表明，优化后的HDC模型在保持或超越基线准确率的同时，显著降低了资源消耗，即使在200 MHz的低功耗核心上也表现优异。