[논문 리뷰] A Survey on Impact of Transient Faults on BNN Inference Accelerators

Navid Khoshavi, Connor Broyles외 1명|arXiv (Cornell University)|2020. 04. 10.

Advanced Neural Network Applications참고 문헌 23인용 수 13

한 줄 요약

이 논문은 FPGA 기반 결함 주입을 사용하여 일시적 소프트 오류—특히 단일 이벤트 역전(SeUs)과 다중 비트 역전(MBUs)—가 이진화 신경망(BNN) 추론 가속기에게 미치는 영향을 조사한다. 활성화 레이어가 매우 취약함을 입증하였으며, 특히 고장 축적 상황에서 소프트 오류로 인해 분류 정확도가 최대 76.7% 감소함을 보였다.

ABSTRACT

Over past years, the philosophy for designing the artificial intelligence algorithms has significantly shifted towards automatically extracting the composable systems from massive data volumes. This paradigm shift has been expedited by the big data booming which enables us to easily access and analyze the highly large data sets. The most well-known class of big data analysis techniques is called deep learning. These models require significant computation power and extremely high memory accesses which necessitate the design of novel approaches to reduce the memory access and improve power efficiency while taking into account the development of domain-specific hardware accelerators to support the current and future data sizes and model structures.The current trends for designing application-specific integrated circuits barely consider the essential requirement for maintaining the complex neural network computation to be resilient in the presence of soft errors. The soft errors might strike either memory storage or combinational logic in the hardware accelerator that can affect the architectural behavior such that the precision of the results fall behind the minimum allowable correctness. In this study, we demonstrate that the impact of soft errors on a customized deep learning algorithm called Binarized Neural Network might cause drastic image misclassification. Our experimental results show that the accuracy of image classifier can drastically drop by 76.70% and 19.25% in lfcW1A1 and cnvW1A1 networks,respectively across CIFAR-10 and MNIST datasets during the fault injection for the worst-case scenarios

연구 동기 및 목표

• 자율주행 차량과 같은 안전이 핵심인 애플리케이션에서 실질적인 영향을 미치는 일시적 소프트 오류가 BNN 추론 가속기에 미치는 영향을 분석하기 위해.
• 특히 BNN 가속기 내에서 가장 취약한 구성요소—즉, 레이어, 데이터 유형(가중치, 활성화), 고장 유형(SEU, MBU)—를 특정하기 위해.
• 시간에 따라 누적되는 고장이 BNN 가속기의 분류 정확도와 시스템 신뢰성에 미치는 영향을 평가하기 위해.
• 실제 하드웨어 동작을 반영하는 방식으로 소프트 오류를 시뮬레이션할 수 있는 현실적인 FPGA 기반 결함 주입 프레임워크를 개발하고 검증하기 위해.

제안 방법

• FPGA 기반 BNN 가속기에서 수정된 FINN 프레임워크를 사용하여 일시적 소프트 오류를 시뮬레이션하기 위해 결함 주입 실험을 수행하였다.
• 조합 논리 회로와 메모리 저장소 전반에 걸쳐 SEUs(단일 비트 반전)와 MBUs(다중 비트 반전)를 주입하였다.
• 특히 lfcW1A1 및 cnvW1A1 두 가지 BNN 아키텍처의 다양한 네트워크 레이어—특히 활성화 및 가중치 레이어—를 대상으로 하였다.
• 시간과 공간에 따라 분포된 다양한 고장 수(최대 100개 고장)에 따라 분류 정확도 저하를 측정하였다.
• 실제 워크로드와 고장 주입 시나리오를 반영하기 위해 CIFAR-10 및 MNIST 데이터셋을 사용하여 성능을 평가하였다.
• 오랜 기간 동안 누적된 고장이 초기 레이어(예: 첫 번째 합성곱 레이어)에서 오염된 데이터가 후속 계산에 영향을 미치는 방식을 추적함으로써 고장 전파를 분석하였다.

실험 결과

연구 질문

• RQ1 실제 고장 주입 조건 하에서 SEUs와 MBUs가 BNN 추론 가속기의 분류 정확도에 어떤 영향을 미치는가?
• RQ2 BNN 가속기 내에서 어떤 레이어와 데이터 유형(가중치, 활성화)이 소프트 오류에 가장 취약한가?
• RQ3 시간에 따라 누적되는 소프트 오류가 BNN 추론의 장기적 신뢰성과 정확도에 어떤 영향을 미치는가?
• RQ4 MBUs가 BNN 가속기 출력 정확도에 미치는 영향은 SEUs에 비해 어느 정도인가?
• RQ5 네트워크 내에서 레이어의 위치(예: 초기 레이어 대 후기 레이어)가 소프트 오류로 인한 정확도 저하에 얼마나 민감한가?

주요 결과

• lfcW1A1 네트워크에서는 활성화 레이어에 100개의 SEUs를 주입했을 때 최악의 경우 정확도가 98.4%에서 22.92%로 76.7% 감소하였다.
• cnvW1A1 네트워크는 최악의 경우 SEU 주입으로 19.25%의 정확도 저하를 보였고, lfcW1A1 네트워크는 76.7%의 정확도 감소를 겪었다.
• 활성화 레이어가 가중치 레이어보다 훨씬 더 취약하였으며, 고장 수가 20개를 초과할 경우 정확도 저하가 뚜렷하게 나타났다.
• MBUs는 다중 비트와 인접 데이터의 손상으로 인해 SEUs보다 더 큰 영향을 미쳐 오류 전파와 시스템 수준의 저하를 유발하였다.
• 네트워크의 첫 번째 레이어가 가장 취약했으며, 초기 레이어의 고장이 연쇄적인 오류를 유발하여 최종 분류 정확도를 극적으로 낮추었다.
• 평균 정확도 저하는 중간 정도였지만, 최악의 시나리오에서는 특히 안전이 핵심인 애플리케이션에서 극심한 오분류 위험을 드러냈다.