[论文解读] Implementation of a Binary Neural Network on a Passive Array of Magnetic Tunnel Junctions

Jonathan M. Goodwill, Nitin Prasad+10 more|arXiv (Cornell University)|Dec 16, 2021

Neural Networks and Applications参考文献 67被引用 15

一句话总结

本文展示了利用无源15×15磁隧道结（MTJ）阵列实现高精度二值神经网络推理，借助其固有的二值运算特性和低功耗特性。尽管存在器件非理想性（如参数波动和寄生电阻），作者通过优化网络参数调优，在Wine数据集上实现了高达95.3%的分类准确率，证明了面向存内AI加速器的鲁棒硬件映射的可行性。

ABSTRACT

The increasing scale of neural networks and their growing application space have produced demand for more energy- and memory-efficient artificial-intelligence-specific hardware. Avenues to mitigate the main issue, the von Neumann bottleneck, include in-memory and near-memory architectures, as well as algorithmic approaches. Here we leverage the low-power and the inherently binary operation of magnetic tunnel junctions (MTJs) to demonstrate neural network hardware inference based on passive arrays of MTJs. In general, transferring a trained network model to hardware for inference is confronted by degradation in performance due to device-to-device variations, write errors, parasitic resistance, and nonidealities in the substrate. To quantify the effect of these hardware realities, we benchmark 300 unique weight matrix solutions of a 2-layer perceptron to classify the Wine dataset for both classification accuracy and write fidelity. Despite device imperfections, we achieve software-equivalent accuracy of up to 95.3 % with proper tuning of network parameters in 15 x 15 MTJ arrays having a range of device sizes. The success of this tuning process shows that new metrics are needed to characterize the performance and quality of networks reproduced in mixed signal hardware.

研究动机与目标

• 通过在内存中直接实现神经网络推理，利用无源MTJ阵列，解决AI硬件中的冯·诺依曼瓶颈。
• 量化硬件非理想性（如器件参数波动、写入错误、寄生电阻及基底非理想性）对神经网络性能的影响。
• 评估在存在物理缺陷的情况下，通过离线训练并使用多个权重矩阵解是否能获得可硬件实现的模型，同时保持高推理准确率。
• 确立需要新的性能指标，以表征映射到混合信号硬件上的神经网络的质量。

提出的方法

• 作者使用不同的随机初始化，为Wine数据集上的两层感知机训练了300组独立的权重矩阵解。
• 每组权重矩阵被映射到一个15×15的无源MTJ交叉阵列中，其中突触权重以器件电导状态编码。
• 系统通过位线上的模拟电流求和实现向量-矩阵乘法（VMM），假设在低电压工作条件下MTJ电流满足线性叠加。
• 作者通过对比不同输入向量下并联与串联电流测量结果，验证了MTJ阵列的线性行为，确认在0.5 V以内相对均方根偏差小于3%。
• 通过分类准确率以及模拟与硬件实现权重矩阵之间的均方根偏差来评估网络性能。
• 通过调节权重归一化常数以最大化实验准确率，确定最优网络参数，该过程独立于理论优化。

实验结果

研究问题

• RQ1 尽管存在器件非理想性，无源MTJ阵列是否仍能实现与软件等效的二值神经网络推理准确率？
• RQ2 器件参数波动和寄生电阻等硬件缺陷如何影响映射后神经网络的性能？
• RQ3 通过使用多组权重矩阵解进行离线训练，是否能提高在物理硬件上实现高准确率的可能性？
• RQ4 最小化模拟与硬件权重之间均方根偏差的权重归一化常数，是否也对应于实际推理准确率的最大化？
• RQ5 在无源MTJ阵列中，能否可靠地假设MTJ电流的线性叠加以支持模拟VMM计算？

主要发现

• 作者在Wine数据集上使用15×15无源MTJ阵列实现了最高95.3%的推理准确率，与软件级性能相当。
• 尽管存在器件间参数波动和寄生电阻，系统仍通过仔细调优网络参数（尤其是权重归一化常数）保持了高准确率。
• 在300组权重矩阵解中，中位推理准确率为95.3%，表明在多种硬件映射下性能保持一致。
• 通过调节归一化常数可最小化模拟与硬件实现权重矩阵之间的均方根偏差，但该参数并不总能最大化实际准确率，表明仿真保真度与真实性能之间存在脱节。
• 实验验证了MTJ电流的线性叠加，相对均方根偏差低于3%，通常在1%左右，适用于高达0.5 V的施加电压。
• 单个器件电流噪声（≈10 nA，或≈1%）带来的测量不确定性对总误差贡献显著，但未使分类准确率下降超过2%。