[论文解读] Efficient Convolutional Neural Network Training with Direct Feedback Alignment

Donghyeon Han, Hoi‐Jun Yoo|arXiv (Cornell University)|Jan 6, 2019

Video Surveillance and Tracking Methods参考文献 28被引用 12

一句话总结

本文提出二值化直接反馈对齐（BDFA），一种新型卷积神经网络训练方法，通过将直接反馈对齐（DFA）与反向传播（BP）结合，提升训练稳定性和效率。通过二值化反馈权重并引入新型反馈权重初始化方案，BDFA 在小样本数据集上实现了比标准反向传播更高的准确率，同时降低计算成本和内存带宽需求。

ABSTRACT

There were many algorithms to substitute the back-propagation (BP) in the deep neural network (DNN) training. However, they could not become popular because their training accuracy and the computational efficiency were worse than BP. One of them was direct feedback alignment (DFA), but it showed low training performance especially for the convolutional neural network (CNN). In this paper, we overcome the limitation of the DFA algorithm by combining with the conventional BP during the CNN training. To improve the training stability, we also suggest the feedback weight initialization method by analyzing the patterns of the fixed random matrices in the DFA. Finally, we propose the new training algorithm, binary direct feedback alignment (BDFA) to minimize the computational cost while maintaining the training accuracy compared with the DFA. In our experiments, we use the CIFAR-10 and CIFAR-100 dataset to simulate the CNN learning from the scratch and apply the BDFA to the online learning based object tracking application to examine the training in the small dataset environment. Our proposed algorithms show better performance than conventional BP in both two different training tasks especially when the dataset is small.

研究动机与目标

• 解决直接反馈对齐（DFA）在卷积神经网络（CNNs）中，尤其是深层网络架构中，训练准确率低和不稳定的挑战。
• 通过将DFA与传统反向传播（BP）结合，克服DFA在CNNs中的局限性，提升学习性能。
• 提出一种新型反馈权重初始化方法，以改善基于DFA训练的训练稳定性和收敛速度。
• 通过引入二值化反馈权重的二值化直接反馈对齐（BDFA），在保持训练准确率的同时最小化计算成本。
• 在标准CNN训练（从零开始训练）和真实世界在线学习场景（如小样本数据下的目标跟踪）中评估所提方法。

提出的方法

• 在训练过程中将DFA与标准反向传播结合，利用BP的梯度精度优势，同时保留DFA的计算优势。
• 基于对DFA中固定随机矩阵的分析，提出一种新型反馈权重初始化方法，显著提升训练稳定性和收敛速度。
• 提出二值化直接反馈对齐（BDFA），通过二值化反馈权重矩阵，大幅降低内存带宽和计算成本。
• 在CIFAR-10和CIFAR-100数据集上对VGG-16应用所提方法，从零开始训练，分别使用全精度和二值化反馈权重。
• 通过在MDNet的全连接层中用BDFA替代BP，将BDFA适配于目标跟踪的在线学习场景，实现在小样本数据集上的高效微调。
• 在全连接层后应用批量归一化（BN），以进一步提升性能，尤其在二值化反馈设置下效果更显著。

实验结果

研究问题

• RQ1 与标准BP相比，将DFA与反向传播结合是否能提升CNN中训练准确率，特别是在深层网络架构中？
• RQ2 所提出的反馈权重初始化方法在CNN中对基于DFA的训练稳定性与收敛速度有何影响？
• RQ3 在CNN中，BDFA中二值化反馈权重在多大程度上降低了计算成本，同时保持了训练准确率？
• RQ4 在小样本数据集的在线学习场景（如实时目标跟踪）中，BDFA是否能优于标准BP？
• RQ5 批量归一化在全连接层后的集成对BDFA和DFA在CNN训练中的性能有何影响？

主要发现

• 所提出的DFA与BP结合方法（CDFA）在CIFAR-10和CIFAR-100数据集上实现了比标准反向传播更高的测试准确率，即使未使用数据增强。
• 新型反馈权重初始化方法显著提升了训练稳定性与收敛速度，降低了基于DFA训练中的发散风险。
• 二值化直接反馈对齐（BDFA）在保持与全精度DFA相当的训练准确率的同时，大幅降低了内存带宽和计算成本。
• CBDFA（结合BDFA）在OTB数据集的目标跟踪任务中优于标准BP及其他基线方法，尤其在小批量设置下表现更优。
• 在全连接层后添加批量归一化显著提升了BDFA性能，这一结果出人意料，与标准BP中BN置于全连接层后会降低性能的典型现象相反。
• 由于误差传播具有高度并行性且反馈路径中数据传输减少，BDFA在小样本数据的在线学习设置中表现优于BP。