[论文解读] Analyzing and Mitigating the Impact of Permanent Faults on a Systolic Array Based Neural Network Accelerator

Jeff Zhang, Tianyu Gu+2 more|arXiv (Cornell University)|Feb 11, 2018

Parallel Computing and Optimization Techniques参考文献 8被引用 14

一句话总结

本文提出故障感知剪枝（FAP）和故障感知剪枝结合微调（FAP+T），使基于脉动阵列的DNN加速器（如TPU）能够容忍高达50%的永久性故障，且精度损失极小。FAP+T通过一次性微调恢复精度，将每片芯片的开销控制在12分钟以内，且不引入运行时开销。

ABSTRACT

Due to their growing popularity and computational cost, deep neural networks (DNNs) are being targeted for hardware acceleration. A popular architecture for DNN acceleration, adopted by the Google Tensor Processing Unit (TPU), utilizes a systolic array based matrix multiplication unit at its core. This paper deals with the design of fault-tolerant, systolic array based DNN accelerators for high defect rate technologies. To this end, we empirically show that the classification accuracy of a baseline TPU drops significantly even at extremely low fault rates (as low as $0.006\%$). We then propose two novel strategies, fault-aware pruning (FAP) and fault-aware pruning+retraining (FAP+T), that enable the TPU to operate at fault rates of up to $50\%$, with negligible drop in classification accuracy (as low as $0.1\%$) and no run-time performance overhead. The FAP+T does introduce a one-time retraining penalty per TPU chip before it is deployed, but we propose optimizations that reduce this one-time penalty to under 12 minutes. The penalty is then amortized over the entire lifetime of the TPU's operation.

研究动机与目标

• 研究基于脉动阵列的DNN加速器对永久性故障的脆弱性。
• 应对未来半导体技术中高缺陷率的挑战。
• 设计在存在故障乘加单元（MAC）的情况下仍能保持高分类精度的容错DNN加速器。
• 在实现高容错能力的同时，将运行时性能开销最小化。
• 将故障感知微调的一次性微调成本降低至每片芯片12分钟以内。

提出的方法

• 采用门级仿真结合固定故障注入，评估TPU类脉动阵列中故障的影响。
• 提出故障感知剪枝（FAP），通过最小化电路开销，剪除所有连接至故障MAC单元的路径，从而绕过故障单元。
• 提出FAP+T，将FAP与微调结合，以在剪枝后恢复分类精度。
• 采用调度策略将DNN层映射至脉动阵列，并通过故障感知重映射避免使用故障MAC单元。
• 通过限制训练周期数来优化微调过程，以减少一次性成本，实现AlexNet 5倍加速。
• 采用256×256的脉动阵列，在45nm CMOS工艺下实现，工作频率为658 MHz，动态功耗为19.7W。

实验结果

研究问题

• RQ1 在低故障率下，类似TPU的脉动阵列加速器对永久性故障有多脆弱？
• RQ2 当大量MAC单元永久故障时，DNN能否维持高分类精度？
• RQ3 哪些技术可实现脉动阵列加速器的容错能力，且不引入运行时性能开销？
• RQ4 能否将故障感知微调的一次性微调成本降低至实用水平？
• RQ5 与简单剪枝相比，故障感知剪枝结合微调在精度和效率方面表现如何？

主要发现

• 即使在0.006%的故障率下，分类精度也急剧下降，仅四个故障MAC单元即导致显著退化。
• FAP在MNIST和TIMIT数据集上可将精度维持在接近基线水平，最高达25%故障率，但在50%故障率时性能下降。
• FAP+T在50%故障率下仍能实现接近基线的精度，TIMIT数据集仅损失0.1%精度，AlexNet损失8%。
• 通过将训练周期数从25次减少至5次，AlexNet的一次性微调开销从约1小时降低至12分钟以内。
• FAP+T不引入运行时性能开销，且微调成本可由TPU的整个生命周期分摊。
• 所提出的技术对全连接和卷积DNN均有效，但调度策略在CNN中会影响性能表现。