[논문 리뷰] Special Session: Reliability Analysis for ML/AI Hardware

Shamik Kundu, Kanad Basu외 5명|arXiv (Cornell University)|2021. 03. 22.

Advanced Memory and Neural Computing참고 문헌 79인용 수 4

한 줄 요약

이 논문은 DNN 가속기에서의 DRAM 고장과 뉴로모픽 시스템에서의 회로 노화/내구성 문제에 초점을 맞춰 신뢰성 도전 과제를 조사한다. 시스템 수준의 완화 기법을 제안하며, 스파iking 신경망에서의 회로 노화를 줄이는 RENEU와 지능적인 워크로드 매핑을 통해 PCM 내구성을 향상시키는 eSpine를 제안하여 뉴로모픽 하드웨어에서 평균 38% 낮은 노화와 연장된 수명을 달성한다.

ABSTRACT

Artificial intelligence (AI) and Machine Learning (ML) are becoming pervasive in today's applications, such as autonomous vehicles, healthcare, aerospace, cybersecurity, and many critical applications. Ensuring the reliability and robustness of the underlying AI/ML hardware becomes our paramount importance. In this paper, we explore and evaluate the reliability of different AI/ML hardware. The first section outlines the reliability issues in a commercial systolic array-based ML accelerator in the presence of faults engendering from device-level non-idealities in the DRAM. Next, we quantified the impact of circuit-level faults in the MSB and LSB logic cones of the Multiply and Accumulate (MAC) block of the AI accelerator on the AI/ML accuracy. Finally, we present two key reliability issues -- circuit aging and endurance in emerging neuromorphic hardware platforms and present our system-level approach to mitigate them.

연구 동기 및 목표

• 장치 수준의 비이상성과 변동하는 유지 시간으로 인해 DRAM 비트 수준의 고장이 양자화된 DNN 가속기 정확도에 미치는 영향을 분석하기 위해.
• MAC 유닛이 MSB 및 LSB 논리 콘의 회로 고장에 얼마나 민감한지 평가하여 정확도 저하 임계값을 초과하지 않는 범위 내에서 허용 가능한 고장률을 규명하기 위해.
• PCM 기반 크로스바를 사용하는 새로운 뉴로모픽 하드웨어에서의 회로 노화 및 내구성 제한 문제를 해결하기 위해.
• 워크로드 매핑을 하드웨어 신뢰성 제약 조건과 동시에 최적화하는 시스템 수준 기법을 개발하여 수명과 정확도를 향상시키기 위해.

제안 방법

• 다양한 양자화된 DNN 모델을 대상으로 DNN 가속기의 DRAM 메모리 서브시스템에 비트 단위 고장을 주입하여 정확도 저하를 특성화하기 위해.
• 다변량 데이터셋을 대상으로 고갈 시간과 리프레시 주기의 영향을 평가하기 위해 체계적인 고장 특성 분석을 수행하기 위해.
• MSB 및 LSB 논리 콘을 별도로 고립하여 분석함으로써, 정확도 저하에 대한 허용 가능한 수준의 고장 내성 임계값을 도출하기 위해.
• 노화 모델을 기반으로 뉴런과 시냅스의 배치를 최적화하여 뉴로모픽 하드웨어에서의 회로 노화를 최소화하는 시스템 수준의 매핑 기법 RENEU를 제안하기 위해.
• Kernighan-Lin 그래프 분할과 입자 군집 최적화(PSO)를 사용하는 두 단계 프레임워크를 개발하여 내구성에 차이가 나는 PCM 크로스바에 워크로드를 매핑하기 위해.
• PCM 크로스바 내의 부가적 전압 강하와 자기가열을 고려한 기술 인식 모델을 통합하여 내구성 향상을 위한 배치 결정을 안내하기 위해.

실험 결과

연구 질문

• RQ1 변동하는 유지 시간으로 인한 DRAM 비트 플립 고장이 엣지 가속기에서의 양자화된 DNN 추론 정확도에 어떤 영향을 미치는가?
• RQ2 MAC 유닛이 MSB 및 LSB 논리 콘의 회로 수준 고장에 얼마나 민감한가? 정확도 저하 임계값을 초과하지 않도록 허용 가능한 고장률은 무엇인가?
• RQ3 PCM 크로스바 내의 부가적 전압 강하로 인한 자기가열 비대칭성이 뉴로모픽 하드웨어에서 시냅스 가중치의 내구성에 어떤 영향을 미치는가?
• RQ4 시스템 수준의 워크로드 매핑 기법은 뉴로모픽 가속기에서의 회로 노화를 줄이고 PCM 기반 시냅스를 갖는 하드웨어의 효과적 수명을 연장시킬 수 있는가?

주요 결과

• 고정기지 간격이 긴 경우, 특히 중요한 메모리 영역에서 비트 플립이 발생함에 따라 DRAM 고장은 낮은 오류율이라도 DNN 가속기의 분류 정확도에 심각한 영향을 미친다.
• MAC 유닛의 MSB 논리 콘에서의 회로 고장은 DNN 정확도에 비례적으로 큰 영향을 미치며, 이는 신뢰성 강화의 핵심 대상이 된다.
• LSB 논리 콘에서의 고장은 응용 프로그램에 따라 특정 임계값 이하에서는 참을 수 있지만, 이를 초과하면 정확도 저하가 허용 가능한 수준을 초과한다.
• RENUE는 노화 모델 기반의 뉴런 및 시냅스 배치 최적화를 통해 PyCARL 대비 평균 38% 낮은 노화 수준을 달성한다.
• eSpine는 고활성 시냅스를 고내구성 PCM 셀에 매핑함으로써 PCM 기반 뉴로모픽 하드웨어의 효과적 수명을 연장시키며, 노화 관련 고장률을 감소시킨다.
• PCM 크로스바 내의 부가적 전압 강하는 심각한 자기가열 비대칭을 유도하며, 어레이 전반에서 수명이 10⁶에서 10¹⁰ 사이로 변동하며, 고전류 경로를 통과하는 셀이 가장 빨리 노후화된다.