[논문 리뷰] Thales: Formulating and Estimating Architectural Vulnerability Factors for DNN Accelerators

Abhishek Tyagi, Yiming Gan외 4명|arXiv (Cornell University)|2022. 12. 05.

Radiation Effects in Electronics인용 수 6

한 줄 요약

이 논문은 일시적 하드웨어 결함 하에서 DNN 추론 정확도를 정량화하기 위해 새로운 지표인 복원력 정확도(Resiliency Accuracy, RA)를 제안한다. 기존 방법의 근본적인 결함인 DNN 변수 전반에 동일한 결함 확률을 가정하는 것에 대비하여, 변수별로 다른 결함 확률을 모델링하고 중요도 표집을 사용해 효율적인 몬테카를로 추정을 수행함으로써, 일시적 결함이 이전에 추정된 것보다 훨씬 더 심각한 정확도 저하를 초래함을 입증한다. 이는 더 견고한 DNN 가속기 설계를 가능하게 한다.

ABSTRACT

As Deep Neural Networks (DNNs) are increasingly deployed in safety critical and privacy sensitive applications such as autonomous driving and biometric authentication, it is critical to understand the fault-tolerance nature of DNNs. Prior work primarily focuses on metrics such as Failures In Time (FIT) rate and the Silent Data Corruption (SDC) rate, which quantify how often a device fails. Instead, this paper focuses on quantifying the DNN accuracy given that a transient error has occurred, which tells us how well a network behaves when a transient error occurs. We call this metric Resiliency Accuracy (RA). We show that existing RA formulation is fundamentally inaccurate, because it incorrectly assumes that software variables (model weights/activations) have equal faulty probability under hardware transient faults. We present an algorithm that captures the faulty probabilities of DNN variables under transient faults and, thus, provides correct RA estimations validated by hardware. To accelerate RA estimation, we reformulate RA calculation as a Monte Carlo integration problem, and solve it using importance sampling driven by DNN specific heuristics. Using our lightweight RA estimation method, we show that transient faults lead to far greater accuracy degradation than what todays DNN resiliency tools estimate. We show how our RA estimation tool can help design more resilient DNNs by integrating it with a Network Architecture Search framework.

연구 동기 및 목표

• 모델 가중치와 활성화에 대해 일률적인 결함 확률을 가정하는 기존 DNN 복원력 지표의 정확도 부족 문제를 해결하기 위해.
• 일시적 결함 하에서 정확도 저하를 반영하는 DNN 전용 아키텍처 취약도 인자(Architectural Vulnerability Factor, AVF)로서 새로운 지표인 복원력 정확도(RA)를 제안하기 위해.
• DNN 전용 히우리스틱을 활용한 중요도 표집을 통해 표본 분산을 줄이고 수렴 속도를 높이는 효율적인 RA 추정 방법을 개발하기 위해.
• 신경망 아키텍처 탐색(Neural Architecture Search, NAS)과의 통합을 통해 RA 추정의 영향을 바탕으로 더 견고한 DNN 설계를 수행하기 위해.
• 대규모 RTL 결함 시뮬레이션과 실제 하드웨어 실험을 통해 제안된 RA 공식화 및 추정 방법을 검증하기 위해.

제안 방법

• DNN 소프트웨어 변수의 각각의 결함 확률에 가중치를 부여한 기대 추론 정확도로 RA를 정의함으로써, 변수별로 다른 결함 확률을 반영한다.
• 가속기 전반에서 데이터 재사용 패턴을 기반으로 DNN 소프트웨어 변수를 하드웨어 플립플롭(FFs)으로 매핑하여 가속기 내부의 결함 확률를 유도한다.
• RA 추정을 몬테카를로 적분 문제로 재구성하여 통계적 표본 기반 추정을 가능하게 한다.
• MAC 연산 횟수, 레이어 감도 등의 DNN 전용 히우리스틱을 활용한 중요도 표집 전략을 제안하여 최적의 표본 분포를 근사하고 분산을 감소시킨다.
• 비용이 많이 드는 RTL 시뮬레이션을 피하면서도 높은 정확도를 유지하는 가벼운 RA 추정 파이프라인을 구현한다.
• RA 추정을 NAS 프레임워크에 통합하여 더 높은 결함 내성성을 지닌 DNN 아키텍처 탐색을 유도한다.

실험 결과

연구 질문

• RQ1 DNN 변수 전반에 일률적인 결함 확률을 가정하는 것은 어떻게 복원력 정확도(RA) 추정의 정확도를 떨어뜨리는가?
• RQ2 DNN 가속기에서 변수별로 다른 결함 확률을 반영하는 RA의 정확한 공식화는 무엇인가?
• RQ3 정확도를 유지하면서 최소한의 표본 수로 RA를 어떻게 효율적으로 추정할 수 있는가?
• RQ4 기존 추정치와 비교해 일시적 결함은 DNN 추론 정확도에 얼마나 심각하게 영향을 미치는가?
• RQ5 RA 기반 NAS는 일시적 하드웨어 결함에 더 견고한 DNN을 생성할 수 있는가?

주요 결과

• 제안된 RA 공식화는 변수별로 다른 결함 확률을 정확히 모델링하며, 기존 균일 표집 기반 방법이 일시적 결함의 실제 영향을 크게 과소평가하고 있음을 드러낸다.
• DNN 전용 히우리스틱을 활용한 중요도 표집은 균일 표집 대비 몇 개의 주기수를 줄여 RA 추정 속도를 크게 향상시킨다.
• 하드웨어 검증 시뮬레이션 결과, 기존 도구가 추정한 것보다 일시적 결함이 훨씬 더 심각한 정확도 저하를 유발하며, RA가 이전에 보고된 것보다 훨씬 더 크게 감소함을 확인했다.
• 제어 경로 플립플롭의 선택적 강화가 RA 향상에 가장 큰 기여를 하며, 이는 이들이 결함 내성성에서 핵심적인 역할을 함을 시사한다.
• RA를 NAS에 통합함으로써 반복당 평가 수를 줄이고 최종 네트워크의 결함 내성성을 향상시켰으며, 중요도 표집을 사용할 경우 NAS 시간은 오직 25.5% 증가에 그쳤다.
• 대규모 RTL 결함 시뮬레이션(26억 개 이상의 결함 주입)과의 상관 분석 결과, 제안된 RA 추정 프레임워크는 정확도와 실용성 면에서 강력한 검증을 받았다.