[论文解读] Energy-efficient Machine Learning in Silicon: A Communications-inspired Approach

Naresh R. Shanbhag|arXiv (Cornell University)|Oct 25, 2016

Low-power high-performance VLSI design参考文献 17被引用 6

一句话总结

本文提出一种受通信系统启发的方法，用于在硅基上实现能效更高的机器学习，通过利用低功耗通信集成电路设计技术以及香农启发的统计误差补偿（SEC），使机器学习系统能够在随机性、低能量的电路基底上可靠运行。通过统计估计与检测补偿高达80%的计算错误率，该方法实现了最高6倍的能效提升，使近阈值和存内计算基底上的鲁棒推理成为可能。

ABSTRACT

This position paper advocates a communications-inspired approach to the design of machine learning systems on energy-constrained embedded `always-on' platforms. The communications-inspired approach has two versions - 1) a deterministic version where existing low-power communication IC design methods are repurposed, and 2) a stochastic version referred to as Shannon-inspired statistical information processing employing information-based metrics, statistical error compensation (SEC), and retraining-based methods to implement ML systems on stochastic circuit/device fabrics operating at the limits of energy-efficiency. The communications-inspired approach has the potential to fully leverage the opportunities afforded by ML algorithms and applications in order to address the challenges inherent in their deployment on energy-constrained platforms.

研究动机与目标

• 通过在嵌入式平台上设计低功耗的机器学习实现，弥合机器学习系统与人类大脑之间的能效差距。
• 利用机器学习算法对噪声和错误的内在鲁棒性，在随机性、能量受限的电路基底上实现运行。
• 借鉴通信系统原理，特别是误差补偿与统计信号处理，开发能效更高的机器学习系统。
• 通过将随机电路基底视为噪声通信信道，实现能量效率极限的运行。
• 通过引入主动误差补偿，将能效降低幅度超越仅靠算法容错所能实现的范围。

提出的方法

• 将确定性的低功耗通信IC设计方法重新用于能效更高的机器学习系统设计。
• 提出一种随机性、香农启发的统计信息处理方法，采用基于信息的度量与统计误差补偿（SEC）。
• 将随机电路基底建模为噪声通信信道，并应用统计估计与检测技术以补偿计算错误。
• 采用基于微调的方法（DDHR）以适应基底与数据噪声，调整机器学习参数。
• 设计采用SEC技术的IC原型，可在高达80%的错误率下运行，同时保持高精度（Pdet > 90–95%）。
• 将SEC与存内计算及传感器内计算基底集成，以最小化数据移动并进一步降低能耗。

实验结果

研究问题

• RQ1 低功耗通信系统设计的原理如何被重新用于提升机器学习系统的能效？
• RQ2 机器学习算法在随机电路基底中对高计算错误率的容忍与补偿能力有多大？
• RQ3 基于香农理论的统计误差补偿（SEC）是否能在能量受限的机器学习系统中超越传统容错技术？
• RQ4 如何使SEC具备自适应能力，以实时跟踪变化的噪声与数据统计特性？
• RQ5 将SEC与存内或传感器内计算基底结合时，潜在的能效降低幅度是多少？

主要发现

• 通过在IC原型中应用SEC技术，成功补偿高达80%的计算错误率，实现最高6倍的能效提升。
• 基于SEC的IC在180nm CMOS中错误率低于86%、在45nm CMOS中错误率低于58%时，仍可实现超过90%的检测概率。
• 该方法使机器学习推理在近阈值电压运行的随机基底上保持可靠，此时能量降低约10倍，但延迟抖动最多增加20倍。
• 统计误差补偿优于传统容错方法（如N重模块冗余），因其能耗低且具备算法感知设计。
• 将SEC与微调（DDHR）及现场数据分析结合，可实现在高度不可靠基底（如存内计算与传感器内计算基底）上的运行。
• 原型实现表明，通过统计估计与检测，可有效补偿高达60%和80%的错误率，同时保持系统精度。