[논문 리뷰] Bit Error Robustness for Energy-Efficient DNN Accelerators

David Stutz, Nandhini Chandramoorthy외 2명|arXiv (Cornell University)|2020. 06. 24.

Advanced Neural Network Applications참고 문헌 112인용 수 8

한 줄 요약

이 논문은 저전압 DNN 가속기에서 발생하는 비트 오류에 대한 강건성을 향상시키기 위해 강건한 고정점 양자화, 가중치 클리핑, 랜덤 비트 오류 훈련(RandBET)을 조합한 새로운 훈련 프레임워크를 제안한다. 양자화된 가중치에 대한 랜덤 비트 오류에 대한 강건성을 향상시킴으로써, CIFAR10에서 정확도가 2.5% 감소하는 조건에서도 4비트 정밀도에서도 최대 30%의 에너지 절감을 달성할 수 있으며, 다양한 전압과 가속기 아키텍처로의 일반화가 가능하다.

ABSTRACT

Deep neural network (DNN) accelerators received considerable attention in past years due to saved energy compared to mainstream hardware. Low-voltage operation of DNN accelerators allows to further reduce energy consumption significantly, however, causes bit-level failures in the memory storing the quantized DNN weights. In this paper, we show that a combination of robust fixed-point quantization, weight clipping, and random bit error training (RandBET) improves robustness against random bit errors in (quantized) DNN weights significantly. This leads to high energy savings from both low-voltage operation as well as low-precision quantization. Our approach generalizes across operating voltages and accelerators, as demonstrated on bit errors from profiled SRAM arrays. We also discuss why weight clipping alone is already a quite effective way to achieve robustness against bit errors. Moreover, we specifically discuss the involved trade-offs regarding accuracy, robustness and precision: Without losing more than 1% in accuracy compared to a normally trained 8-bit DNN, we can reduce energy consumption on CIFAR-10 by 20%. Higher energy savings of, e.g., 30%, are possible at the cost of 2.5% accuracy, even for 4-bit DNNs.

연구 동기 및 목표

• 초저전압 DNN 가속기에서 메모리 신뢰성의 핵심적 한계를 해결하기 위해, 극단적으로 낮은 전압으로 스케일링할 경우 SRAM에 저장된 가중치에서 랜덤 비트 오류가 발생하는 문제를 다룬다.
• 비용이 많이 드는 오류 수정 코드나 칩 단위의 후기 시스템 프로파일링 없이도 DNN의 비트 오류에 대한 강건성을 향상시키는 훈련 방법론을 개발한다.
• 저정밀도 양자화와 전압 스케일링으로 인한 비트 수준의 고장에 대한 강건성을 결합함으로써 DNN 추론의 높은 에너지 효율성을 달성한다.
• 재훈련 없이도 다양한 운영 전압, 가속기 아키텍처, 비트 폭(8비트, 4비트, 2비트)에 대해 일반화할 수 있음을 입증한다.
• 실제 비트 오류 조건 하에서 정확도, 강건성, 에너지 효율성 간의 상호 상충 관계를 정량화한다.

제안 방법

• 정확도가 그대로 유지되는 조건에서도 비트 오류에 대한 강건성을 크게 향상시키는 강건한 고정점 양자화 방식(RQuant)을 도입한다.
• 가중치 분포를 퍼뜨리고 비트 플립에 대한 민감도를 줄이기 위해 훈련 중에 극단적인 가중치 클리핑을 적용한다.
• 각 전방 전파 동안 양자화된 가중치에서 랜덤 비트 플립을 시뮬레이션하여 네트워크가 이러한 오류를 견딜 수 있도록 훈련하는 랜덤 비트 오류 훈련(RandBET)을 활용한다.
• 가중치의 크기를 제어하기 위해 학습 가능한 클리핑 임계값(w_max)을 사용하며, 아블레이션 연구를 통해 w_max = 0.1 또는 0.05에서 최적의 강건성을 확보함을 확인했다.
• 14nm 배열에서 프로파일링한 SRAM 비트 오류 패tern을 기반으로 훈련하여 실제 세계의 오류 분포를 시뮬레이션함으로써 다양한 전압과 칩 간의 일반화를 가능하게 한다.
• RQuant, 가중치 클리핑, RandBET를 상호보완적인 훈련 파이프라인으로 조합하여 정확도 저하를 최소화하면서도 최대한의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 정확도에 영향을 주지 않고도 고정점 양자화 방식의 선택이 DNN 가중치의 랜덤 비트 오류에 대한 강건성에 어떤 영향을 미치는가?
• RQ2 훈련 중 가중치 클리핑이 비트 오류에 대한 강건성을 향상시키는 데 얼마나 효과적인 정규화 도구로 기능하는가?
• RQ3 칩 단위의 프로파일링 없이도 RandBET가 다양한 운영 전압과 가속기 구성에 대해 일반화 가능한가?
• RQ4 저정밀도 양자화와 비트 오류 내성 강화를 조합했을 때 에너지 절감, 정확도 손실, 강건성 간의 상충 관계는 어떠한가?
• RQ5 다양한 비트 폭(8비트, 4비트, 2비트)에서 고비트 오류율(p=1%) 조건에서도 제안된 방법이 성능 유지에 얼마나 효과적인가?

주요 결과

• 표준 8비트 DNN과 비교해 정확도 손실이 1% 이내인 조건에서 CIFAR10에서 20%의 에너지 절감을 달성한다.
• 4비트 DNN에서도 정확도 손실 2.5%의 비용으로 최대 30%의 에너지 절감이 가능함을 입증하며, 에너지-정확도 트레이드오프의 강력한 성능을 보인다.
• 가중치 클리핑만으로도 8비트 모델에서 p=1% 조건에서 비트 오류율(BER)을 최대 90% 감소시켜 정규화 도구로서의 효과를 입증한다.
• w_max=0.05와 p=1% 조건에서 RandBET를 적용했을 때, MNIST에서 BER이 기준(90.03%)에서 89.15%로 감소했으며, 정확도는 90% 유지됨.
• 전압과 가속기 간의 일반화 성능이 우수하여, 한 전압에서 훈련된 모델이 다른 전압에서도 강건성을 유지함으로써 칩 단위의 프로파일링이 필요 없어짐.
• 4비트 정밀도에서 w_max=0.05와 함께 RandBET를 적용했을 때 BER이 기준(89.97%)에서 87.63%로 감소하여, 낮은 정밀도에서도 강력한 강건성을 확보함.