[论文解读] Mixed-Precision 'Memcomputing'

Manuel Le Gallo, Abu Sebastian+6 more|arXiv (Cornell University)|Jan 16, 2017

Neural Networks and Applications被引用 3

一句话总结

本文提出混合精度内存计算（mixed-precision memcomputing），一种结合冯·诺依曼计算与内存计算的混合架构，通过利用能效高、精度低的内存计算执行大规模运算，实现高精度计算。该方法利用959,376个相变存储器器件准确求解了10,000个变量的线性系统，并将该框架应用于从RNA数据重建基因互作网络。

ABSTRACT

To process the ever-increasing amounts of data, computing technology has relied upon the laws of Dennard and Moore to scale up the performance of conventional von Neumann machines. As these laws break down due to technological limits, a radical departure from the processor-memory dichotomy is needed to circumvent the limitations of today's computers. 'Memcomputing' is a promising concept in which the physical attributes and state dynamics of nanoscale resistive memory devices are exploited to perform computational tasks with collocated memory and processing. The capability of 'memcomputing' for performing certain logical and arithmetic operations has been demonstrated. However, device variability and non-ideal device characteristics pose technical challenges to reach the numerical accuracy usually required in practice for data analytics and scientific computing. To resolve this, we propose the concept of mixed-precision 'memcomputing' that combines a von Neumann machine with a 'memcomputer' in a hybrid system that benefits from both the high precision of conventional computing and the energy/areal efficacy of 'memcomputing'. Such a system can achieve arbitrarily high computational accuracy with the bulk of the computation realized as low-precision 'memcomputing'. We demonstrate this by addressing the problem of solving systems of linear equations and present experimental results of solving accurately a system of 10,000 equations using 959,376 phase-change memory devices. We also demonstrate a practical application of computing the gene interaction network from RNA expression measurements. These results illustrate that an interconnection of high-precision arithmetic and 'memcomputing' can be used to solve problems at the core of today's computing applications.

研究动机与目标

• 为应对 Dennard 和 Moore 定律缩小趋势下对高性能、高能效计算日益增长的需求。
• 克服由于器件变异性和非理想特性导致的内存计算数值不准确限制。
• 开发一种融合冯·诺依曼计算机精度与内存计算高效性的混合系统。
• 实现内存计算在数据分析和科学计算应用中的实际部署。
• 证明可利用低精度内存计算组件以高精度求解大规模计算问题。

提出的方法

• 将高精度冯·诺依曼处理器与低精度内存计算系统集成，实现混合计算。
• 利用相变存储器（PCM）器件在内存计算层执行大规模算术与逻辑运算。
• 设计系统将计算密集但精度要求不高的任务卸载至内存计算层，同时通过高精度校正保持结果准确性。
• 实现反馈或迭代精炼机制，以校正低精度内存计算操作引入的误差。
• 将该混合系统应用于求解线性方程组，并从RNA表达数据中推断基因互作网络。
• 利用纳米级存储器件的物理动态特性与阻态，实现信息在内存-处理一体化架构中的编码与处理。

实验结果

研究问题

• RQ1 尽管内存计算系统存在固有器件变异，混合精度内存计算是否能实现任意高的计算精度？
• RQ2 如何在不牺牲科学计算中数值精度的前提下，充分利用内存计算的能效与面积效率？
• RQ3 在大规模线性代数问题中使用低精度内存计算时，性能与精度之间存在何种权衡？
• RQ4 该混合系统能否有效从噪声较大的组学数据中重建复杂的生物网络？
• RQ5 该混合架构在真实世界数据分析工作负载中的可扩展性如何？

主要发现

• 该混合系统成功利用959,376个相变存储器器件，以高精度求解了包含10,000个线性方程的方程组。
• 通过将低精度内存计算与高精度冯·诺依曼校正相结合，该方法实现了任意高的计算精度。
• 系统通过从RNA表达测量中计算出基因互作网络，展示了其实际应用潜力。
• 器件变异性和非理想特性通过混合精度架构得到有效缓解。
• 结果证实，当与传统高精度计算集成时，内存计算可扩展至真实世界的计算工作负载。
• 该框架实现了数据密集型应用的节能与高面积效率计算，同时不牺牲数值保真度。