[论文解读] FTT-NAS: Discovering Fault-Tolerant Neural Architecture.

Xuefei Ning, Guangjun Ge+7 more|arXiv (Cornell University)|Mar 20, 2020

Advanced Neural Network Applications参考文献 48被引用 8

一句话总结

本文提出 FTT-NAS，一种神经架构搜索框架，可发现对硬件故障（如软错误和权重损坏）具有内在抗性的卷积神经网络架构。通过在搜索过程中集成容错训练，FTT-NAS 在特征故障下实现 86.2% 的准确率（对比 MobileNet-V2 的 68.1%），在权重故障下实现 69.6% 的准确率（对比 ResNet-20 的 60.8%），且 FLOPs 和参数量相当。

ABSTRACT

With the fast evolvement of embedded deep-learning computing systems, applications powered by deep learning are moving from the cloud to the edge. When deploying neural networks (NNs) onto the devices under complex environments, there are various types of possible faults: soft errors caused by cosmic radiation and radioactive impurities, voltage instability, aging, temperature variations, and malicious attackers. Thus the safety risk of deploying NNs is now drawing much attention. In this paper, after the analysis of the possible faults in various types of NN accelerators, we formalize and implement various fault models from the algorithmic perspective. We propose Fault-Tolerant Neural Architecture Search (FT-NAS) to automatically discover convolutional neural network (CNN) architectures that are reliable to various faults in nowadays devices. Then we incorporate fault-tolerant training (FTT) in the search process to achieve better results, which is referred to as FTT-NAS. Experiments on CIFAR-10 show that the discovered architectures outperform other manually designed baseline architectures significantly, with comparable or fewer floating-point operations (FLOPs) and parameters. Specifically, with the same fault settings, F-FTT-Net discovered under the feature fault model achieves an accuracy of 86.2% (VS. 68.1% achieved by MobileNet-V2), and W-FTT-Net discovered under the weight fault model achieves an accuracy of 69.6% (VS. 60.8% achieved by ResNet-20). By inspecting the discovered architectures, we find that the operation primitives, the weight quantization range, the capacity of the model, and the connection pattern have influences on the fault resilience capability of NN models.

研究动机与目标

• 解决在暴露于宇宙辐射、电压不稳定和老化等因素的边缘设备上部署深度神经网络所面临的日益增长的安全风险。
• 为各类神经网络加速器形式化算法级故障模型，以模拟真实世界中的故障状况。
• 开发一种自动化搜索框架 FTT-NAS，以发现对多种故障类型具有内在鲁棒性的神经架构。
• 将容错训练集成到 NAS 过程中，以增强模型鲁棒性，同时不增加模型复杂度。

提出的方法

• 从算法角度形式化故障模型，模拟在真实故障条件下特征和权重中的软错误。
• 设计一种可微分神经架构搜索（NAS）框架，将故障模型作为架构搜索过程中的约束条件。
• 在搜索过程中集成容错训练（FTT），使模型在注入故障的条件下进行训练，以提升鲁棒性。
• 使用包含操作原语、权重量化范围、模型容量和连接模式的搜索空间，以探索具有容错能力的架构。
• 优化搜索目标，以在最小化 FLOPs 和参数量的同时，最大化故障条件下的准确率。
• 在受控故障注入条件下评估所发现的架构，以衡量其在不同故障类型下的鲁棒性。

实验结果

研究问题

• RQ1 神经架构搜索能否有效扩展，以发现对边缘 AI 系统中硬件故障具有内在抗性的架构？
• RQ2 与标准 NAS 相比，将容错训练集成到 NAS 过程中如何提升故障鲁棒性？
• RQ3 哪些架构组件——如操作原语、权重量化、模型容量或连接模式——对故障鲁棒性影响最大？
• RQ4 与人工设计的模型相比，FTT-NAS 在保持低 FLOPs 和参数量的同时，能在多大程度上实现更高的故障条件下的准确率？

主要发现

• 在特征故障模型下，F-FTT-Net 在 CIFAR-10 上达到 86.2% 的准确率，显著优于在相同故障条件下仅达到 68.1% 准确率的 MobileNet-V2。
• 在权重故障模型下，W-FTT-Net 达到 69.6% 的准确率，超过在相同故障设置下仅达到 60.8% 准确率的 ResNet-20。
• 所发现的架构在使用特定操作原语、优化的权重量化范围和定制的模型容量时表现出更高的故障鲁棒性。
• 所发现架构中的连接模式在故障注入条件下对维持性能起着关键作用。
• 在 NAS 过程中集成容错训练显著提升了鲁棒性，证明了端到端故障感知架构搜索的有效性。
• FTT-NAS 框架在 FLOPs 和参数量更少的情况下实现了与基线模型相当的性能，表明其在鲁棒性与效率之间实现了良好平衡。