[论文解读] Ranger: Boosting Error Resilience of Deep Neural Networks through Range Restriction.

Zitao Chen, Guanpeng Li+1 more|arXiv (Cornell University)|Mar 30, 2020

Adversarial Robustness in Machine Learning参考文献 30被引用 14

一句话总结

Ranger 是一种新颖的、可移植的技术，通过自动限制关键层中的激活范围，增强了深度神经网络（DNN）对瞬态硬件故障的鲁棒性。通过抑制软错误引起的大幅偏差，Ranger 使 DNN 能够通过内在鲁棒性容忍故障，在 8 个 DNN 上实现显著的错误鲁棒性，且无精度损失和极低开销，包括自动驾驶汽车模型。

ABSTRACT

With the emerging adoption of deep neural networks (DNNs) in the HPC domain, the reliability of DNNs is also growing in importance. As prior studies demonstrate the vulnerability of DNNs to hardware transient faults (i.e., soft errors), there is a compelling need for an efficient technique to protect DNNs from soft errors. While the inherent resilience of DNNs can tolerate some transient faults (which would not affect the system's output), prior work has found there are critical faults that cause safety violations (e.g., misclassification). In this work, we exploit the inherent resilience of DNNs to protect the DNNs from critical faults. In particular, we propose Ranger, an automated technique to selectively restrict the ranges of values in particular DNN layers, which can dampen the large deviations typically caused by critical faults to smaller ones. Such reduced deviations can usually be tolerated by the inherent resilience of DNNs. Ranger can be integrated into existing DNNs without retraining, and with minimal effort. Our evaluation on 8 DNNs (including two used in self-driving car applications) demonstrates that Ranger can achieve significant resilience boosting without degrading the accuracy of the model, and incurring negligible overheads.

研究动机与目标

• 解决在高性能计算（HPC）和关键安全系统中部署的深度神经网络（DNN）日益增长的瞬态硬件故障问题。
• 识别并缓解导致误分类的关键故障，尽管 DNN 对轻微错误具有内在鲁棒性。
• 开发一种轻量级、非侵入式技术，增强故障鲁棒性，而无需微调或显著性能开销。
• 通过自动范围限制实现对软错误的鲁棒性，使 DNN 能够在故障频发环境中实现实际部署。

提出的方法

• Ranger 自动识别因瞬态故障导致激活值最易发生大幅偏差的关键 DNN 层。
• 通过范围限制限制这些层中激活的动态范围，从而减小故障引发的偏差影响。
• 该技术利用激活分布的统计分析，为每层确定安全的上下限边界。
• 范围限制在推理时应用，无需微调或对原始 DNN 的架构进行修改。
• 该方法设计为透明且可组合，可轻松集成到现有 DNN 流程中，工程成本极低。
• 通过确保故障引发的偏差保持在可容忍范围内，利用 DNN 的内在鲁棒性。

实验结果

研究问题

• RQ1 在特定 DNN 层中应用范围限制是否能有效减小瞬态硬件故障对模型输出的影响？
• RQ2 如何在不微调或修改架构的前提下自动识别易受故障影响的关键层？
• RQ3 范围限制在多大程度上可提升故障鲁棒性，同时保持模型精度和效率？
• RQ4 在不同 DNN 架构中应用范围限制的延迟和资源使用开销如何？
• RQ5 Ranger 是否能有效应用于安全关键型 DNN，例如自动驾驶汽车中使用的模型？

主要发现

• Ranger 在 8 个不同 DNN 上成功增强了错误鲁棒性，包括两个用于自动驾驶汽车应用的模型，且未降低模型精度。
• 该技术引入的性能开销可忽略不计，适用于实时和 HPC 环境。
• 通过限制激活范围，Ranger 减小了故障引发偏差的幅度，使 DNN 的内在鲁棒性能够吸收这些偏差。
• 该方法在不同网络架构中均有效，且无需微调或架构修改。
• Ranger 对可能导致误分类的关键故障表现出强健性，显著提升了系统可靠性。
• 自动层选择过程确保仅最脆弱的层被修改，从而保持效率并最小化干扰。