[论文解读] Exploiting Errors for Efficiency: A Survey from Circuits to Algorithms

Phillip Stanley‐Marbell, Armin Alaghi+14 more|arXiv (Cornell University)|Sep 16, 2018

Low-power high-performance VLSI design参考文献 181被引用 15

一句话总结

本文提出了一项关于误差高效计算的跨层综述，其中系统性地容忍可控误差，以在电路、架构、编程语言和操作系统层面减少资源使用。通过形式化误差容忍度与跨层权衡，实现了端到端优化，在对精度不敏感的应用中显著节省了能耗与面积。

ABSTRACT

When a computational task tolerates a relaxation of its specification or when an algorithm tolerates the effects of noise in its execution, hardware, programming languages, and system software can trade deviations from correct behavior for lower resource usage. We present, for the first time, a synthesis of research results on computing systems that only make as many errors as their users can tolerate, from across the disciplines of computer aided design of circuits, digital system design, computer architecture, programming languages, operating systems, and information theory. Rather than over-provisioning resources at each layer to avoid errors, it can be more efficient to exploit the masking of errors occurring at one layer which can prevent them from propagating to a higher layer. We survey tradeoffs for individual layers of computing systems from the circuit level to the operating system level and illustrate the potential benefits of end-to-end approaches using two illustrative examples. To tie together the survey, we present a consistent formalization of terminology, across the layers, which does not significantly deviate from the terminology traditionally used by research communities in their layer of focus.

研究动机与目标

• 应对由于 Dennard 缩放和摩尔定律的终结所带来的计算系统中能耗与资源效率日益增长的挑战。
• 综述利用应用对误差容忍度的技术，实现在不牺牲用户可接受输出质量的前提下减少资源使用。
• 统一硬件、软件和算法层之间的术语与形式化方法，以支持跨层优化。
• 识别近似计算系统在误差度量、理论边界、可复现性以及部署方面的开放性挑战。

提出的方法

• 综合多个学科的研究——电路设计、计算机体系结构、编程语言和操作系统——针对容忍误差的系统，进行综述与整合。
• 引入系统各层中误差容忍度的一致形式化方法，使用如“误差效率”和“正确性容忍度”等术语以统一术语体系。
• 分析跨层误差传播与掩蔽机制，其中低层误差被高层掩蔽，从而实现资源节省。
• 通过两个案例研究说明端到端优势：信号处理中的近似算术与机器学习中的随机计算。
• 提出一种使用应用特定误差度量与帕累托最优权衡的误差效率评估框架。
• 确定近似通信技术中编码与通信开销的理论边界。

实验结果

研究问题

• RQ1 如何系统性地在硬件与软件层之间利用应用中的误差容忍度，以减少资源使用？
• RQ2 计算系统中误差效率的根本极限是什么？如何对其进行形式化界定？
• RQ3 如何在多样化的计算系统层级之间建立一致的术语与形式化模型，以支持跨层优化？
• RQ4 近似计算技术在可复现性、基准测试与部署方面面临哪些关键挑战？
• RQ5 跨层误差传播与掩蔽如何影响近似系统的整体可靠性与效率？

主要发现

• 通过在对误差容忍的应用中容忍可控的计算偏差，近似计算技术可实现显著的能耗与面积节省。
• 跨层优化——即低层误差被高层掩蔽——可带来比孤立优化各层更高的效率。
• 现有误差度量通常具有应用特定性且缺乏标准化，导致结果的可复现性与比较性困难。
• 已建立近似通信技术编码效率的理论边界，为未来设计提供了基础。
• 由于术语不一致、缺乏开源工具链以及实验文档不足，可复现性仍是主要挑战。
• 从电路到算法的端到端方法，考虑误差容忍度，相比单一层级的点解决方案，能实现更好的资源节省。