[论文解读] Generalized Learning Vector Quantization for Classification in Randomized Neural Networks and Hyperdimensional Computing

Cameron Diao, Denis Kleyko+2 more|arXiv (Cornell University)|Jun 17, 2021

Ferroelectric and Negative Capacitance Devices参考文献 67被引用 21

一句话总结

本文提出用广义学习向量量化（GLVQ）替代随机向量功能链接（RVFL）网络中的最小二乘分类器，以在保持或提升分类准确率的同时降低计算成本。基于GLVQ的RVFL模型在UCI数据集上实现了最先进（SOTA）的准确率，计算成本仅为最小二乘法的21%，尤其在仅允许10次训练迭代且每类仅一个原型时表现突出。

ABSTRACT

Machine learning algorithms deployed on edge devices must meet certain resource constraints and efficiency requirements. Random Vector Functional Link (RVFL) networks are favored for such applications due to their simple design and training efficiency. We propose a modified RVFL network that avoids computationally expensive matrix operations during training, thus expanding the network's range of potential applications. Our modification replaces the least-squares classifier with the Generalized Learning Vector Quantization (GLVQ) classifier, which only employs simple vector and distance calculations. The GLVQ classifier can also be considered an improvement upon certain classification algorithms popularly used in the area of Hyperdimensional Computing. The proposed approach achieved state-of-the-art accuracy on a collection of datasets from the UCI Machine Learning Repository - higher than previously proposed RVFL networks. We further demonstrate that our approach still achieves high accuracy while severely limited in training iterations (using on average only 21% of the least-squares classifier computational costs).

研究动机与目标

• 解决在资源受限的边缘设备上，RVFL网络中最小二乘法训练时矩阵求逆带来的高计算成本问题。
• 通过利用GLVQ通过每类多个原型建模类内差异的能力，提升RVFL网络的分类准确率。
• 通过将矩阵运算替换为简单的向量与距离计算，实现在专用硬件上的高效训练。
• 证明即使在严格限制迭代次数下，GLVQ使用多个原型仍能超越最小二乘法的准确率。
• 为随机神经网络及超维计算（HDC）建立新的高效、高准确率分类基线。

提出的方法

• 在RVFL网络中，用广义学习向量量化（GLVQ）替代正则化最小二乘法（RLS）的读出权重优化，用于输出层训练。
• 采用基于类别原型和距离计算的GLVQ迭代更新规则，替代矩阵求逆。
• 使用每类一个原型的GLVQ以最小化计算成本，同时保持准确率。
• 扩展GLVQ以支持每类多个原型，以建模类内差异并提升泛化能力。
• 使用仅整数激活的intRVFL网络进行训练，以符合超维计算（HDC）原则，提升硬件效率。
• 使用网格搜索优化超参数，包括原型数量、学习率以及（用于KGLVQ对比）核带宽。

实验结果

研究问题

• RQ1 在计算资源受限条件下，GLVQ能否在不牺牲分类准确率的前提下替代RVFL网络中的最小二乘法？
• RQ2 在GLVQ中使用每类多个原型是否能提升分类准确率，使其超越单原型GLVQ和最小二乘法在RVFL网络中的表现？
• RQ3 在严重限制训练迭代次数时，GLVQ的计算成本与最小二乘法相比如何？
• RQ4 基于GLVQ的RVFL网络能否在超维计算中实现高于标准质心分类的准确率？
• RQ5 在UCI数据集上，所提出的基于GLVQ的RVFL模型与核化GLVQ（KGLVQ）在准确率和效率方面相比如何？

主要发现

• 基于GLVQ的RVFL模型在UCI数据集集合上实现了0.81的平均交叉验证准确率，优于最小二乘法分类器的平均准确率0.76。
• 仅使用10次训练迭代时，GLVQ分类器实现了0.80的平均准确率，与最小二乘法相当，但其平均计算成本仅为后者的21%。
• 当允许多个原型每类时，基于GLVQ的方法实现了0.82的平均准确率，显著优于最小二乘法分类器（0.80），且p值小于0.05，具有统计显著性。
• GLVQ与最小二乘法在各数据集上性能的皮尔逊相关系数为0.87，表明GLVQ在性能提升上具有一致性。
• 尽管KGLVQ具有更高的内存和计算需求，所提出的GLVQ方法在部分数据集上仍优于KGLVQ（平均准确率0.82 vs. 0.79）。
• 使用每类一个原型的GLVQ分类器在准确率上与最小二乘法相当，但平均计算成本降低了79%，展示了出色的效率-准确率权衡灵活性。