[论文解读] Efficient ConvNets for Analog Arrays

Malte J. Rasch, Tayfun Gokmen+2 more|arXiv (Cornell University)|Jul 3, 2018

Advanced Memory and Neural Computing参考文献 17被引用 3

一句话总结

该论文提出 RAPA ConvNets，通过在多个模拟阵列中复制卷积核矩阵，并将计算随机分配至这些阵列，以加速混合模拟-数字硬件上的训练。尽管参数量增加，该方法在准确率和鲁棒性方面达到相当或更优表现，训练速度最高提升 128 倍，且在 CIFAR-10 上将与完美对抗鲁棒性的差距减少了 64%。

ABSTRACT

Analog arrays are a promising upcoming hardware technology with the potential to drastically speed up deep learning. Their main advantage is that they compute matrix-vector products in constant time, irrespective of the size of the matrix. However, early convolution layers in ConvNets map very unfavorably onto analog arrays, because kernel matrices are typically small and the constant time operation needs to be sequentially iterated a large number of times, reducing the speed up advantage for ConvNets. Here, we propose to replicate the kernel matrix of a convolution layer on distinct analog arrays, and randomly divide parts of the compute among them, so that multiple kernel matrices are trained in parallel. With this modification, analog arrays execute ConvNets with an acceleration factor that is proportional to the number of kernel matrices used per layer (here tested 16-128). Despite having more free parameters, we show analytically and in numerical experiments that this convolution architecture is self-regularizing and implicitly learns similar filters across arrays. We also report superior performance on a number of datasets and increased robustness to adversarial attacks. Our investigation suggests to revise the notion that mixed analog-digital hardware is not suitable for ConvNets.

研究动机与目标

• 为解决早期 ConvNet 层在模拟阵列上的映射效率低下问题，这些层虽具有常数时间矩阵运算，却面临高串行计算开销。
• 通过减少每层的有效计算时间，实现混合模拟-数字硬件上 ConvNets 的高效训练。
• 探究通过核复制实现模型并行是否能在实现硬件加速的同时维持或提升性能。
• 探索在复制核架构中通过随机铺砌（tiling）带来的隐式正则化与对抗鲁棒性优势。

提出的方法

• 将每个卷积核矩阵复制到 $n_t$ 个独立的模拟阵列（瓦片）中，将输入图像块随机分配至这些瓦片。
• 每个瓦片独立训练，使用其自身的参数集，从而实现在模拟阵列上的并行执行。
• 推理阶段通过瓦片间的多数投票机制聚合预测结果，以提升鲁棒性。
• 将铺砌策略形式化为图像块到瓦片的随机分配，避免显式权重共享。
• 通过简化分析模型分析隐式正则化效应，表明各瓦片的滤波器趋于收敛至相似形态。
• 在传统硬件上模拟 RAPA ConvNet，以验证其在不同数据集上的性能与鲁棒性。

实验结果

研究问题

• RQ1 尽管核尺寸较小，通过核复制实现的模型并行是否能提升模拟阵列上 ConvNets 的效率？
• RQ2 在复制的核矩阵间随机分配计算是否能带来隐式正则化并实现稳定收敛？
• RQ3 与标准 ConvNets 相比，RAPA ConvNet 在白盒对抗攻击下鲁棒性提升程度如何？
• RQ4 RAPA 架构是否能在实现显著模拟硬件加速的同时，维持或超越传统 ConvNets 的准确率？
• RQ5 增加瓦片数量对训练稳定性、泛化能力及对抗鲁棒性的影响如何？

主要发现

• 在使用混合池化策略时，RAPA ConvNet 经过 85 个周期训练后在 CIFAR-10 上测试误差为 19%，与原始网络在 82 个周期时的表现相当。
• 当 $n_t = (128,32,8)$ 时，网络在 $ε \approx 33$ 条件下于 CIFAR-10 上达到 83.97% 的鲁棒准确率，与完美鲁棒性的差距减少了 64%。
• 该架构在卷积参数量最多增加 20 倍的情况下仍保持性能，且无过拟合现象（训练误差为 15%）。
• 在假设瓦片间完全并行的前提下，该方法在模拟阵列上实现了每训练周期理论上的 128 倍加速。
• 随机铺砌起到了置信度稳定机制的作用，减少了过度自信的预测，从而提升了对抗鲁棒性。
• 该架构对超参数变化具有鲁棒性，即使在高瓦片数量下也能保持稳定训练与性能，表明其可扩展至更大规模网络。