[论文解读] HarDNN: Feature Map Vulnerability Evaluation in CNNs

Abdulrahman Mahmoud, Siva Kumar Sastry Hari+8 more|arXiv (Cornell University)|Feb 22, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用 12

一句话总结

HarDNN 是一种软件驱动的框架，通过识别并选择性地保护卷积神经网络（CNN）中易受硬件错误影响的特征图，提升其对瞬态硬件错误的鲁棒性。通过结合新颖的 $Δ$ 损失度量与基于激活值和梯度信息的快速启发式方法，辅以统计误差注入，HarDNN 在仅增加 30% 计算开销的情况下，使 SqueezeNet 的鲁棒性提升高达 10 倍，实现了单位计算开销下错误覆盖范围的超线性增长。

ABSTRACT

As Convolutional Neural Networks (CNNs) are increasingly being employed in safety-critical applications, it is important that they behave reliably in the face of hardware errors. Transient hardware errors may percolate undesirable state during execution, resulting in software-manifested errors which can adversely affect high-level decision making. This paper presents HarDNN, a software-directed approach to identify vulnerable computations during a CNN inference and selectively protect them based on their propensity towards corrupting the inference output in the presence of a hardware error. We show that HarDNN can accurately estimate relative vulnerability of a feature map (fmap) in CNNs using a statistical error injection campaign, and explore heuristics for fast vulnerability assessment. Based on these results, we analyze the tradeoff between error coverage and computational overhead that the system designers can use to employ selective protection. Results show that the improvement in resilience for the added computation is superlinear with HarDNN. For example, HarDNN improves SqueezeNet's resilience by 10x with just 30% additional computations.

研究动机与目标

• 为应对安全关键型 CNN 应用在面临瞬态硬件错误时日益增长的鲁棒性需求。
• 识别 CNN 中哪些特征图最容易因硬件错误导致推理结果损坏。
• 实现仅对最脆弱的特征图进行选择性保护，从而最小化计算开销。
• 开发快速且准确的脆弱性估计技术，避免进行全规模的误差注入。
• 量化受保护 CNN 中鲁棒性提升与计算成本之间的权衡关系。

提出的方法

• 在多种瞬态错误模型上采用统计误差注入，以估计特征图的脆弱性。
• 引入 $Δ$ 损失作为细粒度度量指标，用于衡量输出损坏的严重程度，替代二元分类错误。
• 基于激活值和反向传播梯度，开发六种启发式方法，用于在不进行误差注入的情况下预测脆弱性。
• 利用 $Δ$ 损失度量对特征图按脆弱性进行排序，并指导选择性保护策略。
• 通过仅复制最脆弱的特征图实现选择性保护，从而提升系统鲁棒性。
• 使用 SqueezeNet 和 ResNet50 等真实 CNN 模型，评估错误覆盖范围与计算开销之间的权衡关系。

实验结果

研究问题

• RQ1 在 CNN 中，哪些特征图最易受瞬态硬件错误影响，导致输出损坏？
• RQ2 如何在不进行完整误差注入的前提下，高效且准确地估计特征图级别的脆弱性？
• RQ3 在选择性保护脆弱特征图时，计算开销与鲁棒性提升之间的关系如何？
• RQ4 不同错误模型如何影响特征图脆弱性排名的相对顺序？
• RQ5 基于激活值和梯度信息的快速启发式方法，能否提供与全规模误差注入相当可靠的脆弱性估计？

主要发现

• $Δ$ 损失度量使误差注入实验的执行速度比二元分类错误方法快 10 倍，同时保持相近的脆弱性估计精度。
• 平均而言，仅 30% 的特征图承担了整个网络 76% 的总脆弱性，表明错误敏感度存在显著偏斜。
• HarDNN 在仅增加 30% 计算开销的情况下，使 SqueezeNet 的鲁棒性提升 10 倍。
• 鲁棒性提升与计算开销的关系呈超线性，表明选择性保护策略具有极高的效率。
• 基于梯度的启发式方法在速度与精度之间实现了良好平衡，适用于开发阶段的快速性能分析。
• 在三种不同的瞬态错误模型下，特征图的脆弱性排名保持一致，验证了该方法的稳健性。