[论文解读] Mixed-precision training of deep neural networks using computational memory

S. R. Nandakumar, Manuel Le Gallo+4 more|arXiv (Cornell University)|Dec 4, 2017

Advanced Memory and Neural Computing参考文献 29被引用 11

一句话总结

该论文提出了一种混合精度训练架构，结合计算内存单元与阻变交叉阵列，用于低精度矩阵-向量乘法，同时使用高精度数字单元累积权重更新。通过仅在必要时应用稀疏、高精度的权重更新，该方法在使用真实相变存储器模型的情况下，于MNIST数据集上实现了97.40%的测试准确率，有效克服了诸如随机性及更新粒度有限等非理想因素。

ABSTRACT

Deep neural networks have revolutionized the field of machine learning by providing unprecedented human-like performance in solving many real-world problems such as image and speech recognition. Training of large DNNs, however, is a computationally intensive task, and this necessitates the development of novel computing architectures targeting this application. A computational memory unit where resistive memory devices are organized in crossbar arrays can be used to locally store the synaptic weights in their conductance states. The expensive multiply accumulate operations can be performed in place using Kirchhoff's circuit laws in a non-von Neumann manner. However, a key challenge remains the inability to alter the conductance states of the devices in a reliable manner during the weight update process. We propose a mixed-precision architecture that combines a computational memory unit storing the synaptic weights with a digital processing unit and an additional memory unit accumulating weight updates in high precision. The new architecture delivers classification accuracies comparable to those of floating-point implementations without being constrained by challenges associated with the non-ideal weight update characteristics of emerging resistive memories. A two layer neural network in which the computational memory unit is realized using non-linear stochastic models of phase-change memory devices achieves a test accuracy of 97.40% on the MNIST handwritten digit classification problem.

研究动机与目标

• 解决基于计算内存的深度神经网络训练中，阻变存储器器件非理想行为（如更新粒度有限、随机性及非线性）带来的挑战。
• 实现利用新兴阻变存储器技术进行高精度深度神经网络训练，而这些技术目前尚无法达到最先进性能。
• 通过最小化对阻变器件的频繁、不精确更新，保留基于内存计算的能量与速度优势。
• 设计一种混合架构，利用计算内存的高效性实现前向与反向传播，同时通过高精度数字累积确保准确的权重更新。

提出的方法

• 该架构采用基于相变存储器（PCM）器件的计算内存单元，通过交叉阵列存储突触权重为电导状态，利用基尔霍夫定律实现在位矩阵-向量乘法。
• 权重更新在高精度数字单元中累积，避免对阻变存储器器件进行频繁直接编程。
• 仅当累积更新达到与器件最小更新粒度相当的阈值时，才对存储器阵列施加单个脉冲。
• 该方法采用无读出反馈的盲单脉冲编程策略，降低开销与延迟。
• 系统采用稀疏更新机制，仅当累积误差超过器件分辨率时才应用更新，从而最小化编程事件次数。
• 阈值判断与减法操作与累积过程并行执行，避免额外的内存访问开销。

实验结果

研究问题

• RQ1 混合精度架构能否缓解阻变存储器器件在深度神经网络训练中的非理想行为，如随机性与有限更新粒度？
• RQ2 在不损害训练准确率的前提下，基于计算内存的矩阵-向量乘法在前向与反向传播中可被多大程度地高效利用？
• RQ3 与标准随机梯度下降相比，高精度权重更新累积在收敛性与最终准确率方面表现如何？
• RQ4 在基于阻变存储器的系统中，稀疏且高精度的更新对训练效率与能耗有何影响？
• RQ5 当结合混合精度更新策略时，具有非线性与非对称电导响应的真实PCM器件模型是否仍能实现高分类准确率？

主要发现

• 所提出的架构在使用真实90 nm相变存储器模型的情况下，于MNIST手写数字分类任务上实现了97.40%的测试准确率。
• 尽管采用低精度计算内存与稀疏器件更新，该方法仍保持与全精度浮点训练相当的分类准确率。
• 由于更新频率低且精度高，阻变存储器的编程事件次数减少了几个数量级。
• 系统对器件级非理想性（如电导编程不对称性、非线性及随机性）具有鲁棒性。
• 高精度累积与稀疏更新机制在保持训练收敛性的同时，显著降低了能耗与时间开销。
• 该架构通过在固定时间内加速O(N²)矩阵-向量运算，保留了基于内存计算的计算效率，同时权重更新管理带来的开销极小。