[论文解读] Enhancing Fault Tolerance of Neural Networks for Security-Critical Applications

Manaar Alam, Arnab Bag+5 more|arXiv (Cornell University)|Feb 5, 2019

Adversarial Robustness in Machine Learning参考文献 11被引用 6

一句话总结

本文提出了一种基于神经网络（NN）的AES S-Box实现，显著提升了在安全关键应用中的部分故障容错能力（PFT）。通过在训练过程中应用解析推导的约束，作者实现了在故障注入下故障输出概率仅为1.21×10⁻⁵%的PFT，该结果通过在Artix-7 FPGA上的硬件与软件实现得到验证，展现出故障容错能力与硬件开销之间的良好权衡。

ABSTRACT

Neural Networks (NN) have recently emerged as backbone of several sensitive applications like automobile, medical image, security, etc. NNs inherently offer Partial Fault Tolerance (PFT) in their architecture; however, the biased PFT of NNs can lead to severe consequences in applications like cryptography and security critical scenarios. In this paper, we propose a revised implementation which enhances the PFT property of NN significantly with detailed mathematical analysis. We evaluated the performance of revised NN considering both software and FPGA implementation for a cryptographic primitive like AES SBox. The results show that the PFT of NNs can be significantly increased with the proposed methodology.

研究动机与目标

• 提升神经网络在加密等安全关键应用中的部分故障容错能力（PFT）。
• 解决标准加密实现对激光或时钟脉冲等针对性故障注入攻击的脆弱性。
• 设计一种优于传统LUT基实现的神经网络基AES S-Box，具备更强的故障鲁棒性。
• 开发一种约束训练策略，系统性地提升故障容错能力，同时不牺牲准确性。
• 评估所提出的容错神经网络架构在FPGA平台上的软硬件开销。

提出的方法

• 使用ReLU和Softmax激活函数，通过梯度下降反向传播训练前馈神经网络，将8位输入映射为8位S-Box输出。
• 在训练过程中对网络权重和偏置施加解析约束，以增强对参数故障的鲁棒性。
• 在Xilinx Artix-7 FPGA上设计一种硬件优化的整数权重神经网络，采用20位定点数运算与DSP模块。
• 设计八个并行计算单元，高效处理256个神经元，并使用ArgMax模块选择输出神经元。
• 通过时钟脉冲故障注入实现片上故障注入，以在真实条件下验证故障容错能力。
• 对比多种神经网络架构（8-8-256、8-32-256、8-64-256、8-128-256）与标准LUT基S-Box的故障率。

实验结果

研究问题

• RQ1 通过约束训练，是否可使神经网络在故障容错能力上显著优于传统加密S-Box实现？
• RQ2 在神经网络基加密原 primitive 中，故障容错能力与硬件资源开销之间的权衡关系如何？
• RQ3 所提出的约束训练方法如何影响在故障注入攻击下故障输出的概率？
• RQ4 基于FPGA的神经网络基S-Box实现是否能在保持可接受性能与面积使用的同时，实现实际的故障容错？
• RQ5 增加隐含层神经元数量并结合参数约束，是否能显著提升故障容错能力？

主要发现

• 8-128-256神经网络架构实现了1.21×10⁻⁵%的部分故障容错能力（PFT），即在故障注入下仅有1.21×10⁻⁵%的输出出现故障。
• LUT基AES S-Box虽然面积效率高，但故障率为0.00385%，显著高于受约束的神经网络设计。
• 8-128-256架构在Artix-7 FPGA上运行频率为128.66 MHz，使用601 slices（7.37%）、1442 LUTs（6.93%）和33 DSPs（36.67%）。
• 约束训练策略使得更小的8-64-256网络在不牺牲性能的前提下，实现了与无约束的8-128-256网络相当的PFT。
• 片上故障注入实验验证了仿真结果，证实了所提学习策略的鲁棒性。
• 尽管面积与延迟开销更高，8-128-256设计在所有评估实现中实现了最高的故障容错能力（最低故障率）。