[论文解读] Energy-based learning algorithms for analog computing: a comparative study

Benjamin Scellier, Maxence Ernoult+2 more|arXiv (Cornell University)|Dec 22, 2023

Advanced Memory and Neural Computing被引用 7

一句话总结

本文在五个视觉任务上对七种基于能量的学习（EBL）算法——对比学习（CL）、平衡传播（EP）以及具有不同扰动符号的耦合学习（CpL）——在深度卷积霍普菲尔德网络（DCHNs）上进行了全面比较。研究发现，负向扰动优于正向扰动，且中心化EP变体（C-EP）在任务难度增加时表现最佳，同时通过异步能量最小化和16位精度实现了13.5倍的速度提升。

ABSTRACT

Energy-based learning algorithms have recently gained a surge of interest due to their compatibility with analog (post-digital) hardware. Existing algorithms include contrastive learning (CL), equilibrium propagation (EP) and coupled learning (CpL), all consisting in contrasting two states, and differing in the type of perturbation used to obtain the second state from the first one. However, these algorithms have never been explicitly compared on equal footing with same models and datasets, making it difficult to assess their scalability and decide which one to select in practice. In this work, we carry out a comparison of seven learning algorithms, namely CL and different variants of EP and CpL depending on the signs of the perturbations. Specifically, using these learning algorithms, we train deep convolutional Hopfield networks (DCHNs) on five vision tasks (MNIST, F-MNIST, SVHN, CIFAR-10 and CIFAR-100). We find that, while all algorithms yield comparable performance on MNIST, important differences in performance arise as the difficulty of the task increases. Our key findings reveal that negative perturbations are better than positive ones, and highlight the centered variant of EP (which uses two perturbations of opposite sign) as the best-performing algorithm. We also endorse these findings with theoretical arguments. Additionally, we establish new SOTA results with DCHNs on all five datasets, both in performance and speed. In particular, our DCHN simulations are 13.5 times faster with respect to Laborieux et al. (2021), which we achieve thanks to the use of a novel energy minimisation algorithm based on asynchronous updates, combined with reduced precision (16 bits).

研究动机与目标

• 在相同模型和数据集上，对七种EBL算法——CL、EP变体（P-、N-、C-）以及CpL变体（P-、N-、C-）进行直接且公平的比较。
• 研究算法性能如何随MNIST、F-MNIST、SVHN、CIFAR-10和CIFAR-100等任务难度的增加而变化。
• 通过评估性能、稳定性与收敛性，识别最适合模拟及能效型AI硬件的EBL算法。
• 通过一种新颖的异步能量最小化算法和低精度（16位）计算，显著加速EBL训练过程。
• 在所有五个基准数据集上，为DCHN建立新的SOTA精度与速度记录。

提出的方法

• 使用七种EBL算法（CL、P-EP、N-EP、C-EP、P-CpL、N-CpL、C-CpL）在深度卷积霍普菲尔德网络（DCHNs）上进行训练，其差异在于学习过程中应用的扰动符号与类型。
• 对自由状态（未夹持）与扰动状态（夹持或偏置）施加扰动，权重更新基于两状态间能量差计算。
• 实现了一种新颖的异步能量最小化算法，通过非同步、随机顺序更新神经元，加速收敛。
• 将模型精度降低至16位浮点数，以提升训练速度而不损失精度。
• 在所有算法与数据集中使用相同的模型架构与超参数，确保比较的公平性。
• 在Nvidia A100 GPU上进行仿真，所有五个数据集的完整评估训练时间长达六天。

实验结果

研究问题

• RQ1 在日益复杂的视觉任务中，不同EBL算法（CL、EP、CpL）及其不同扰动符号的性能如何比较？
• RQ2 使用负向扰动（N-EP、N-CpL）是否比正向扰动（P-EP、P-CpL）或中心化扰动具有更好的泛化能力？
• RQ3 EP的中心化变体（C-EP）在多种数据集上的准确率与收敛稳定性方面是否优于其他EBL算法？
• RQ4 异步能量最小化与16位精度是否能显著缩短训练时间，同时保持或提升模型性能？
• RQ5 所提出的训练优化是否使DCHN在标准视觉基准测试中实现精度与速度的全新SOTA？

主要发现

• 在MNIST上，所有EBL算法表现相近，C-EP与N-EP的测试误差最低（分别为0.44%和0.42%）。
• 随着任务难度增加（如CIFAR-100），性能差异变得显著：C-EP的测试误差为37.0%，显著优于CL（71.4%）和P-EP（89.4%）。
• 负向扰动（N-EP、N-CpL）始终优于正向扰动（P-EP、P-CpL），N-EP在SVHN上的测试误差为3.51%，而CL为9.64%。
• EP的中心化变体（C-EP）在所有数据集上均为表现最佳的算法，在全部五个基准测试中均达到SOTA结果。
• 所提出的异步能量最小化与16位精度使训练时间相比先前工作（Laborieux et al., 2021）减少了13.5倍，实现更快收敛。
• 在SVHN上，通过改进权重初始化，C-EP的测试误差为3.58%，优于RBP（3.91%）与TBP（3.66%），证实其在复杂数据上的鲁棒性。