[论文解读] Harnessing Intrinsic Noise in Memristor Hopfield Neural Networks for Combinatorial Optimization

Fuxi Cai, Suhas Kumar+9 more|arXiv (Cornell University)|Mar 26, 2019

Advanced Memory and Neural Computing参考文献 68被引用 25

一句话总结

该论文提出了一种基于忆阻器的霍普菲尔德神经网络（mem-HNN），利用交叉阵列中的固有模拟噪声作为计算资源，以解决最大割等NP难组合优化问题。通过在CMOS-忆阻器混合架构中实现大规模并行模拟运算，该系统在单位功耗下的解算吞吐量超过数字或量子退火方法的10,000倍，可在室温下运行，并展现出可扩展性和抗噪声性能。

ABSTRACT

We describe a hybrid analog-digital computing approach to solve important combinatorial optimization problems that leverages memristors (two-terminal nonvolatile memories). While previous memristor accelerators have had to minimize analog noise effects, we show that our optimization solver harnesses such noise as a computing resource. Here we describe a memristor-Hopfield Neural Network (mem-HNN) with massively parallel operations performed in a dense crossbar array. We provide experimental demonstrations solving NP-hard max-cut problems directly in analog crossbar arrays, and supplement this with experimentally-grounded simulations to explore scalability with problem size, providing the success probabilities, time and energy to solution, and interactions with intrinsic analog noise. Compared to fully digital approaches, and present-day quantum and optical accelerators, we forecast the mem-HNN to have over four orders of magnitude higher solution throughput per power consumption. This suggests substantially improved performance and scalability compared to current quantum annealing approaches, while operating at room temperature and taking advantage of existing CMOS technology augmented with emerging analog non-volatile memristors.

研究动机与目标

• 开发一种可扩展、高能效的模拟-数字混合架构，用于求解NP难组合优化问题。
• 通过将模拟噪声重新定位为优化中的计算资源，突破其传统上被视为干扰因素的观点。
• 通过实验和仿真验证，证明忆阻器交叉阵列在求解最大割问题中的实际可行性。
• 在解算吞吐量和能效方面，与数字、量子和光学加速器进行性能基准测试。
• 建立一条通往室温运行、与CMOS兼容的硬件加速器的技术路径，利用新兴的非易失性存储器件求解NP难问题。

提出的方法

• mem-HNN采用密集的忆阻器交叉阵列实现霍普菲尔德能量函数，支持大规模并行状态更新。
• 将忆阻器中的固有模拟噪声作为随机扰动机制，用于在优化过程中逃离局部极小值。
• 系统采用模拟-数字混合控制方案：在忆阻器阵列中进行模拟计算，同时通过数字反馈实现状态校正和收敛监控。
• 将问题实例编码为初始权重和偏置，网络通过演化至低能量状态以获得有效解。
• 通过基于实验数据的仿真，评估不同问题规模下的成功率、求解时间及能耗。
• 通过真实忆阻器器件和考虑噪声的仿真，对最大割问题进行方法验证，以评估其可扩展性。

实验结果

研究问题

• RQ1 忆阻器交叉阵列中的固有模拟噪声能否被有效利用为计算资源，而非误差源？
• RQ2 与数字和量子退火系统相比，mem-HNN在求解NP难最大割问题时表现如何？
• RQ3 随着问题规模增大，mem-HNN在解算吞吐量和能效方面的可扩展性如何？
• RQ4 混合模拟-数字控制方案如何在器件非理想性和噪声存在的情况下保持解的保真度？
• RQ5 mem-HNN能否在单位功耗下的能效-延迟积和吞吐量方面显著优于现有加速器？

主要发现

• 与全数字及当前量子和光学加速器相比，mem-HNN在单位功耗下的解算吞吐量高出四个数量级以上。
• 实验演示表明，可在模拟忆阻器交叉阵列中直接成功求解最大割问题，且成功率较高。
• 仿真结果证实该方法具有可扩展性，在问题规模扩大至数千个变量时仍能保持高解质量。
• 系统利用固有噪声实现逃离局部极小值，从而提升收敛至全局或近似全局最优解的能力。
• 该架构可在室温下运行，并与现有CMOS技术兼容，支持实际集成。
• 单位解的能耗显著低于数字和量子退火系统，能效预计提升10,000倍。