[论文解读] A Study of Deep Learning Robustness Against Computation Failures

J Vialatte, François Leduc-Primeau|arXiv (Cornell University)|Apr 18, 2017

Radiation Effects in Electronics参考文献 11被引用 13

一句话总结

本文研究了深度神经网络在硬件计算故障下如何通过增大模型规模来维持性能，表明更大的MLP和CNN可通过冗余补偿故障。研究发现，随着性能目标更加严格，容错效率下降，提示应在网络设计中将鲁棒性与准确率解耦。

ABSTRACT

For many types of integrated circuits, accepting larger failure rates in computations can be used to improve energy efficiency. We study the performance of faulty implementations of certain deep neural networks based on pessimistic and optimistic models of the effect of hardware faults. After identifying the impact of hyperparameters such as the number of layers on robustness, we study the ability of the network to compensate for computational failures through an increase of the network size. We show that some networks can achieve equivalent performance under faulty implementations, and quantify the required increase in computational complexity.

研究动机与目标

• 评估嵌入式系统中受限能效预算下深度神经网络对硬件计算故障的鲁棒性。
• 探究增大模型规模是否可在无需微调或硬件修改的情况下补偿故障计算。
• 量化在不同故障模型下，计算冗余与容错效率之间的权衡。
• 比较MLP和CNN在悲观与乐观故障模型下对所需参数增长的性能表现。
• 为设计与分类准确率目标解耦的容错深度学习模型建立基线。

提出的方法

• 作者使用悲观的'条件均匀'偏差模型和乐观的'擦除'偏差模型，模拟神经网络推理中的计算故障。
• 通过在推理过程中向前向传播计算中注入随机误差，评估预训练的MLP和CNN模型在这些故障模型下的表现。
• 使用蒙特卡洛模拟估算不同故障概率（最高达10⁻²）和性能目标下的误差率，测量满足每个目标所需的参数数量。
• 容错效率计算为可靠模型参数数量与实现相同性能的容错模型参数数量的比值。
• 研究使用标准反向传播和随机梯度下降进行训练，未对容错性进行架构或优化上的修改。
• 通过多个性能目标和偏差概率分析结果，评估模型规模增加的可扩展性和鲁棒性。

实验结果

研究问题

• RQ1 在预训练的深度神经网络中增加参数数量，是否可补偿推理过程中的计算故障？
• RQ2 在不同故障模型下，随着故障概率增加，所需模型规模如何增长？
• RQ3 当仅通过模型规模实现鲁棒性时，MLP和CNN的容错效率如何？
• RQ4 性能目标（如误差率）如何影响容错与计算冗余之间的权衡？
• RQ5 与悲观模型相比，乐观的擦除模型是否允许在更少参数增长下实现更高容错性？

主要发现

• 在故障概率最高达10⁻³时，更大的MLP和CNN模型在两种偏差模型下均可维持目标性能，表明其通过冗余具备内在鲁棒性。
• 乐观的擦除模型使CNN能够容忍高达1%的故障概率（10⁻²），同时保持性能，其参数增长远低于悲观模型。
• 随着性能目标更加严格（即误差率更低），容错效率急剧下降，表明其对准确率目标存在强依赖性。
• 训练集中最小的模型代表了参数数量的下限，未发现更小的模型能在故障下达到相同性能目标。
• 结果表明，当前容错效率与性能目标仍紧密耦合，未来设计应致力于将二者解耦，以实现更好的能效。
• 模拟中出现的性能不一致现象（如在0.016误差目标处）归因于偏差采样较少导致的统计噪声。