[论文解读] Doing Moore with Less -- Leapfrogging Moore's Law with Inexactness for Supercomputing

Sven Leyffer, Stefan M. Wild+5 more|arXiv (Cornell University)|Oct 9, 2016

Parallel Computing and Optimization Techniques参考文献 15被引用 23

一句话总结

本文提出一种两阶段的超级计算方法，利用低精度算术以节省能源，随后将节省的能源重新投资于提升解的质量，使其超越传统高精度计算所能达到的水平——证明了通过更智能地使用能源，可以实现对摩尔定律的超越。该方法在保持固定能效预算的前提下，实现了比传统双精度求解器更高的精度。

ABSTRACT

Energy and power consumption are major limitations to continued scaling of computing systems. Inexactness, where the quality of the solution can be traded for energy savings, has been proposed as an approach to overcoming those limitations. In the past, however, inexactness necessitated the need for highly customized or specialized hardware. The current evolution of commercial off-the-shelf(COTS) processors facilitates the use of lower-precision arithmetic in ways that reduce energy consumption. We study these new opportunities in this paper, using the example of an inexact Newton algorithm for solving nonlinear equations. Moreover, we have begun developing a set of techniques we call reinvestment that, paradoxically, use reduced precision to improve the quality of the computed result: They do so by reinvesting the energy saved by reduced precision.

研究动机与目标

• 为应对高性能计算（HPC）中日益严峻的能耗限制，重新思考计算质量与能耗之间的权衡。
• 探索如何不仅通过降低精度算术来节省能源，还能通过战略性地再投资能源节省来提升解的质量。
• 通过混合精度与能源再投资，证明在固定能源预算下，可获得优于精确高精度计算的计算结果。
• 提供一种在HPC中通过将精度视为质量与成本权衡中的可调参数，以优化计算资源使用的框架。

提出的方法

• 本文采用非精确牛顿法求解非线性方程，使用低精度浮点算术（如单精度或半精度）以减少能耗。
• 提出一种两阶段策略：首先通过引入非精确性来节省能源；其次将节省的能源重新投入更高精度计算，以提升解的质量。
• 针对混合精度下的迭代求解器，建模收敛速率（线性和二次收敛），利用精度水平 $ p_1 $ 和 $ p_2 $ 以及能耗 $ E(p) \propto p $ 推导误差传播的边界。
• 推导出混合精度求解器的误差边界，表明可实现的精度受限于高精度阶段或能源增强的改进因子。
• 该方法假设低精度运算所节省的能源可被重新定向，用于提升计算关键阶段的精度。
• 理论分析得到模拟结果的支持，展示了在不同精度水平和收敛行为下，能源节省与质量提升的成效。

实验结果

研究问题

• RQ1 是否可以不仅通过降低精度算术来节省能源，还能通过能源再投资来提升解的质量？
• RQ2 在固定能源预算下，使用混合精度与再投资策略，解的质量最大可提升多少？
• RQ3 线性与二次收敛速率如何影响迭代求解器中精度、能耗与误差之间的权衡？
• RQ4 从低精度计算中节省的能源在多大程度上可被有效再投资，以实现超越精确高精度计算所能达到的精度？

主要发现

• 本文证明，通过使用低精度算术并再投资节省的能源，固定能源预算可实现优于精确双精度计算的解质量。
• 能耗可降低至原来的2.x倍以下，且不影响解的质量，从而实现显著的能效提升。
• 对于二次收敛，改进因子受一个适中因子 $ \lambda^{-1}2^{-E(p_1)/E(p_2)} $ 限制，表明即使在强收敛约束下，再投资仍可带来显著收益。
• 混合精度求解器的理论误差边界表明，解的质量受限于最终阶段的精度或能源增强的改进因子。
• 该方法实现了“跃迁式”效果：用户在不增加能耗的前提下，获得相当于更高代际机器的计算结果。
• 该方法提供了一个框架，可同时优化多个调控参数——精度、离散化、近似与异步性——以最大化单位能耗下的质量产出。