[논문 리뷰] Analyzing and Mitigating the Impact of Permanent Faults on a Systolic Array Based Neural Network Accelerator

Jeff Zhang, Tianyu Gu외 2명|arXiv (Cornell University)|2018. 02. 11.

Parallel Computing and Optimization Techniques참고 문헌 8인용 수 14

한 줄 요약

이 논문은 TPU와 같은 시스톨릭 어레이 기반 DNN 가속기에서 최대 50%의 영구 고장에도 정확도 손실을 최소화하면서 내구성을 확보할 수 있도록 Fault-Aware Pruning (FAP) 및 Fault-Aware Pruning with Retraining (FAP+T)를 제안한다. FAP+T는 한 번의 재학습을 통해 정확도를 복원하며, 칩당 12분 이내의 오버헤드로 비용을 줄이고 런타임 오버헤드가 없다.

ABSTRACT

Due to their growing popularity and computational cost, deep neural networks (DNNs) are being targeted for hardware acceleration. A popular architecture for DNN acceleration, adopted by the Google Tensor Processing Unit (TPU), utilizes a systolic array based matrix multiplication unit at its core. This paper deals with the design of fault-tolerant, systolic array based DNN accelerators for high defect rate technologies. To this end, we empirically show that the classification accuracy of a baseline TPU drops significantly even at extremely low fault rates (as low as $0.006\%$). We then propose two novel strategies, fault-aware pruning (FAP) and fault-aware pruning+retraining (FAP+T), that enable the TPU to operate at fault rates of up to $50\%$, with negligible drop in classification accuracy (as low as $0.1\%$) and no run-time performance overhead. The FAP+T does introduce a one-time retraining penalty per TPU chip before it is deployed, but we propose optimizations that reduce this one-time penalty to under 12 minutes. The penalty is then amortized over the entire lifetime of the TPU's operation.

연구 동기 및 목표

• 시스톨릭 어레이 기반 DNN 가속기가 영구 고장에 얼마나 취약한지 조사하기 위해.
• 미래 반도체 기술에서 높은 결함 비율 문제를 해결하기 위해.
• 고장 난 MAC 유닛이 존재하더라도 높은 분류 정확도를 유지하는 고장 내성 DNN 가속기 설계하기 위해.
• 고장 내성 능력을 확보하면서도 런타임 성능 오버헤드를 최소화하기 위해.
• 고장 인식 재학습의 일회성 재학습 비용을 칩당 12분 이내로 줄이기 위해.

제안 방법

• TPU 유사 시스톨릭 어레이의 고장 영향을 평가하기 위해 스탱크-어트 고장 주입을 포함한 게이트 레벨 시뮬레이션을 수행한다.
• 고장 난 MAC 유닛을 피하기 위해 최소한의 회로로 그들과의 모든 연결을 제거하는 Fault-Aware Pruning (FAP)을 도입한다.
• FAP와 재학습을 조합한 FAP+T를 제안하여, 제거 후 분류 정확도를 복원한다.
• DNN 레이어를 시스톨릭 어레이에 매핑하는 스케줄링 정책을 사용하며, 고장 난 MAC 유닛을 피하기 위해 고장 인식 리맵핑을 수행한다.
• 학습 에포크 수를 제한하여 재학습을 최적화함으로써 일회성 비용을 줄였고, AlexNet 기준 5배의 속도 향상을 달성했다.
• 45nm CMOS로 구현된 256×256 시스톨릭 어레이로, 658 MHz에서 동작하며 동적 전력은 19.7W이다.

실험 결과

연구 질문

• RQ1 낮은 고장 비율에서 TPU 유사 시스톨릭 어레이 가속기가 영구 고장에 얼마나 취약한가?
• RQ2 MAC 유닛의 상당한 비율이 영구적으로 고장 났을 때 DNN이 높은 분류 정확도를 유지할 수 있는가?
• RQ3 런타임 성능 오버헤드 없이 시스톨릭 어레이 가속기에서 고장 내성을 달성할 수 있는 기법은 무엇인가?
• RQ4 고장 인식 재학습의 일회성 재학습 비용을 실용적인 수준으로 줄일 수 있는가?
• RQ5 단순한 제거와 비교해 고장 인식 제거와 재학습의 정확도 및 효율성은 어떻게 다른가?

주요 결과

• 0.006%의 고장 비율에서도 분류 정확도가 급격히 떨어지며, 단지 네 개의 고장 난 MAC 유닛만으로도 심각한 성능 저하가 발생한다.
• FAP는 MNIST 및 TIMIT에서 고장 비율이 25% 이하일 경우 기준선에 가까운 정확도를 유지하지만, 50%에서는 성능 저하가 발생한다.
• FAP+T는 50% 고장 비율에서도 기준선에 가까운 정확도를 달성하며, TIMIT의 경우 정확도 손실이 0.1% 이하, AlexNet의 경우 8% 이하이다.
• 학습 에포크 수를 25개에서 5개로 제한함으로써 AlexNet의 일회성 재학습 오버헤드를 약 1시간에서 12분 이내로 줄였다.
• FAP+T는 런타임 성능 오버헤드가 없으며, 재학습 비용은 TPU 수명 주기 동안 분할되어 소모된다.
• 제안된 기법은 완전 연결형 및 합성곱 DNN 모두에 효과적이며, 특히 CNN에서는 스케줄링 정책이 성능에 영향을 미친다.