[论文解读] A Low-cost Fault Corrector for Deep Neural Networks through Range Restriction

Zitao Chen, Guanpeng Li+1 more|arXiv (Cornell University)|Mar 30, 2020

Adversarial Robustness in Machine Learning被引用 5

一句话总结

Ranger 是一种低成本、自动化的深度神经网络（DNN）故障校正器，通过限制特定层中的值范围来抑制由瞬态硬件故障引起的大幅偏差。通过将关键故障转化为良性故障，Ranger 使 DNN 能够在不重新计算的情况下容忍错误，将隐性数据损坏（SDC）率降低多达 50 倍，且对精度和性能的开销可忽略不计。

ABSTRACT

The adoption of deep neural networks (DNNs) in safety-critical domains has engendered serious reliability concerns. A prominent example is hardware transient faults that are growing in frequency due to the progressive technology scaling, and can lead to failures in DNNs. This work proposes Ranger, a low-cost fault corrector, which directly rectifies the faulty output due to transient faults without re-computation. DNNs are inherently resilient to benign faults (which will not cause output corruption), but not to critical faults (which can result in erroneous output). Ranger is an automated transformation to selectively restrict the value ranges in DNNs, which reduces the large deviations caused by critical faults and transforms them to benign faults that can be tolerated by the inherent resilience of the DNNs. Our evaluation on 8 DNNs demonstrates Ranger significantly increases the error resilience of the DNNs (by 3x to 50x), with no loss in accuracy, and with negligible overheads.

研究动机与目标

• 为解决自动驾驶等安全关键型 DNN 应用中日益增长的硬件瞬态故障风险。
• 克服现有故障保护技术的局限性，这些技术存在高开销、故障覆盖有限或需要重新计算的问题。
• 开发一种低成本、自动化的解决方案，实现对 DNN 输出故障的直接校正，而无需重新执行。
• 通过限制值范围以减轻故障引起的偏差，利用 DNN 对不精确性的内在鲁棒性。
• 提供一种与主流机器学习框架（如 TensorFlow）兼容的实用、可部署的技术。

提出的方法

• Ranger 对选定的 DNN 层应用自动范围限制，以限制瞬态故障引起的值偏差幅度。
• 它识别出原本会导致隐性数据损坏（SDC）的关键故障，并通过值钳位将这些故障转化为良性故障。
• 该技术利用层输出的统计分析来确定安全的范围边界，从而在保持模型精度的同时增强故障容错能力。
• Ranger 作为针对 TensorFlow 框架的编译器式转换实现，无需手动代码修改。
• 它在推理时运行，可实时校正故障输出，而无需重新计算整个网络。
• 该方法通过在 8 个 DNN 上进行故障注入进行评估，包括图像分类器和自动驾驶转向模型。

实验结果

研究问题

• RQ1 DNN 层中的范围限制能否有效抑制由瞬态硬件故障引起的大幅偏差？
• RQ2 该方法能否将关键故障转化为 DNN 可内在容忍的良性故障？
• RQ3 Ranger 在不降低模型精度的前提下，能在多大程度上减少隐性数据损坏（SDC）率？
• RQ4 与现有故障保护技术相比，Ranger 在 SDC 覆盖率和性能开销方面表现如何？
• RQ5 Ranger 是否能在现实世界 DNN 应用（如自动驾驶）中以极低的部署成本进行部署？

主要发现

• Ranger 将 DNN 分类器的 SDC 率从 14.92% 降低至 0.44%，实现 33 倍的改进。
• 对于自动驾驶转向模型，SDC 率从 23.76% 降至 2.49%，降低 9 倍。
• 该技术实现了超过 97% 的 SDC 覆盖率，仅带来 0.53% 的性能开销，优于现有方法。
• 在所评估的 8 个 DNN 模型中，包括关键安全的自动驾驶模型，均未观察到精度损失。
• 该方法的内存和计算开销可忽略不计，适用于实时系统。
• Ranger 在多种 DNN 架构上均有效，且与广泛使用的 TensorFlow 框架兼容。