[论文解读] Hyperdimensional Computing vs. Neural Networks: Comparing Architecture and Learning Process

Dongning Ma, Xun Jiao|arXiv (Cornell University)|Jul 24, 2022

Ferroelectric and Negative Capacitance Devices被引用 5

一句话总结

本文提出了一种新颖的方法，从预训练的两层全连接神经网络中推导出超维计算（HDC）模型，结果表明，此类推导出的HDC模型在MNIST和CIFAR-10数据集上，相较于传统HDC基线模型准确率最高提升21%，相较于最先进学习型HDC模型准确率提升5%。该方法利用神经网络的权重作为HDC的记忆单元，将HDC与神经网络架构相融合，从而在保持能效优势的同时提升学习性能。

ABSTRACT

Hyperdimensional Computing (HDC) has obtained abundant attention as an emerging non von Neumann computing paradigm. Inspired by the way human brain functions, HDC leverages high dimensional patterns to perform learning tasks. Compared to neural networks, HDC has shown advantages such as energy efficiency and smaller model size, but sub-par learning capabilities in sophisticated applications. Recently, researchers have observed when combined with neural network components, HDC can achieve better performance than conventional HDC models. This motivates us to explore the deeper insights behind theoretical foundations of HDC, particularly the connection and differences with neural networks. In this paper, we make a comparative study between HDC and neural network to provide a different angle where HDC can be derived from an extremely compact neural network trained upfront. Experimental results show such neural network-derived HDC model can achieve up to 21% and 5% accuracy increase from conventional and learning-based HDC models respectively. This paper aims to provide more insights and shed lights on future directions for researches on this popular emerging learning scheme.

研究动机与目标

• 探究超维计算（HDC）与神经网络之间的理论与实践联系。
• 解决传统HDC模型在复杂任务（如CIFAR-10图像分类）中学习能力有限的问题。
• 探索是否可从预训练的神经网络中推导出HDC模型，以在保持能效和小模型尺寸的同时提升性能。
• 通过将HDC重新定义为轻量级神经网络，为HDC提供新视角，从而实现更优的优化与可扩展性。

提出的方法

• 在MNIST和CIFAR-10数据集上训练一个包含输入层和分类器层的两层全连接神经网络。
• 将输入层权重（10000×768）提取为HDC中的项目记忆，其中每一列代表一个超向量（HV）。
• 将分类器层权重（10×10000）提取为关联记忆，其中每一行代表一个类别超向量。
• 通过将提取出的权重作为记忆单元，将训练好的神经网络转换为HDC模型，同时保留相同的推理计算流程。
• 在编码与推理过程中使用超向量操作（加法、乘法、置换），且HDC推理阶段不进行反向传播。
• 使用标准反向传播与梯度下降训练神经网络，随后冻结并将其权重转换为HDC记忆结构。

Figure 1: Architectural Comparison between HDC and neural network

实验结果

研究问题

• RQ1 HDC与神经网络在架构与学习过程上的相似性，如何促进HDC性能的提升？
• RQ2 是否可利用预训练的神经网络生成高性能HDC模型，使其超越传统HDC基线？
• RQ3 从轻量级神经网络中推导HDC模型，在CIFAR-10等复杂数据集上能将准确率提升多少？
• RQ4 将神经网络转换为HDC模型时，训练成本与推理效率之间的权衡如何？

主要发现

• 从预训练的两层神经网络推导出的HDC模型在MNIST上达到96.71%的准确率，相较于基线HDC-Base（90.93%）提升5.78%，相较于SOTA的LeHDC模型（94.74%）提升2.03%。
• 在更复杂的CIFAR-10数据集上，推导出的HDC模型达到51.08%的准确率，相较于HDC-Base基线（30.28%）提升20.8%，相较于LeHDC模型（46.10%）提升5.0%。
• 推导出的HDC模型与原始HDC-Base具有相同的推理计算成本，所有额外开销集中于初始神经网络训练阶段。
• 底层神经网络的训练效率较高，在报告的准确率下仅需4至7分钟即可收敛，即使从零开始训练。
• 结果证实，HDC的学习能力从根本上受限于底层神经网络的架构，解释了为何浅层模型在复杂任务中表现不佳。
• 本研究证明，HDC可被视为一种具有全息表示的轻量级神经网络，为通过神经网络启发的训练方式优化HDC开辟了新路径。

Figure 2: Derive an HDC model from a trained neural network.