[논문 리뷰] SwitchX: Gmin-Gmax Switching for Energy-Efficient and Robust Implementation of Binary Neural Networks on ReRAM Xbars

Abhiroop Bhattacharjee, Priyadarshini Panda|arXiv (Cornell University)|2020. 11. 30.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

SwitchX는 ReRAM 크로스바에서 이진화 신경망(BNNs)을 위한 혁신적인 가중치 매핑 전략을 제안하며, 교차바 비이상성의 영향을 줄이기 위해 저저항 상태(LRS)보다 고저항 상태(HRS) 시냅스를 우선시한다. 이 방법은 최대 16%의 적대적 공격에 대한 강건성을 향상시키고, 상태 인식 학습과 조합될 경우 에너지 효율성을 최대 22% 향상시킨다.

ABSTRACT

Memristive crossbars can efficiently implement Binarized Neural Networks (BNNs) wherein the weights are stored in high-resistance states (HRS) and low-resistance states (LRS) of the synapses. We propose SwitchX mapping of BNN weights onto ReRAM crossbars such that the impact of crossbar non-idealities, that lead to degradation in computational accuracy, are minimized. Essentially, SwitchX maps the binary weights in such manner that a crossbar instance comprises of more HRS than LRS synapses. We find BNNs mapped onto crossbars with SwitchX to exhibit better robustness against adversarial attacks than the standard crossbar-mapped BNNs, the baseline. Finally, we combine SwitchX with state-aware training (that further increases the feasibility of HRS states during weight mapping) to boost the robustness of a BNN on hardware. We find that this approach yields stronger defense against adversarial attacks than adversarial training, a state-of-the-art software defense. We perform experiments on a VGG16 BNN with benchmark datasets (CIFAR-10, CIFAR-100 & TinyImagenet) and use Fast Gradient Sign Method and Projected Gradient Descent adversarial attacks. We show that SwitchX combined with state-aware training can yield upto ~35% improvements in clean accuracy and ~6-16% in adversarial accuracies against conventional BNNs. Furthermore, an important by-product of SwitchX mapping is increased crossbar power savings, owing to an increased proportion of HRS synapses, that is furthered with state-aware training. We obtain upto ~21-22% savings in crossbar power consumption for state-aware trained BNN mapped via SwitchX on 16x16 & 32x32 crossbars using the CIFAR-10 & CIFAR-100 datasets.

연구 동기 및 목표

• 비이상적인 ReRAM 크로스바에 구현된 BNN의 적대적 공격에 대한 취약성을 해결한다.
• 인터커넥트 파라사이트와 장치 변동성 등의 크로스바 비이상성으로 인한 정확도 저하를 완화한다.
• 고저항 상태(HRS) 시냅스 비율을 높여 에너지 효율성을 향상시킨다. HRS 시냅스는 더 적은 전력을 소비하기 때문이다.
• 소프트웨어 기반 방어에 의존하지 않고 하드웨어 인식 가중치 매핑을 통해 적대적 강건성을 향상시킨다.
• SwitchX와 상태 인식 학습을 통합하여 HRS 활용 가능성을 더욱 높이고 정확도 및 강건성을 동시에 향상시킨다.

제안 방법

• 크로스바에 LRS 시냅스보다 HRS 시냅스를 더 많이 포함하도록 BNN 가중치를 재구성하는 SwitchX 매핑 전략을 제안한다.
• HRS 시냅스가 저항 비이상성에 덜 민감하므로, MAC 연산 중 오류 전파를 줄일 수 있음을 활용한다.
• 크로스바 매핑 중 HRS 활용도를 극대화하기 위해 수정된 가중치 순열 전략을 사용한다.
• SwitchX를 상태 인식 학습과 조합하여, 가중치 양자화 과정에서 HRS 상태를 우선시하도록 학습 프로세스를 조정한다.
• 인터커넥트 파라사이트, 장치 변동성, 센싱/드라이버 저항 등을 고려한 회로 수준 시뮬레이션 프레임워크를 사용해 크로스바 비이상성을 모델링한다.
• FGSM 및 PGD 적대적 공격을 적용한 CIFAR-10, CIFAR-100, TinyImageNet에서 표준 BNN(VGG16)을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 하드웨어 인식 가중치 매핑 전략이 ReRAM 크로스바 비이상성의 영향을 BNN 추론 정확도에 줄일 수 있는가?
• RQ2 ReRAM 크로스바에서 HRS 시냅스 비율을 높이면 BNN의 적대적 강건성이 향상되는가?
• RQ3 SwitchX 매핑 전략과 상태 인식 학습을 조합하면 에너지 효율성과 강건성을 동시에 향상시킬 수 있는가?
• RQ4 하드웨어 비이상성 하에서 SwitchX는 최신 소프트웨어 기반 적대적 훈련 기법보다 강건성 면에서 뛰어나게 되는가?
• RQ5 가중치 분포에서 HRS-LRS 불균형이 증가할수록 크로스바 전력 절감 효과는 어느 정도로 스케일링되는가?

주요 결과

• SwitchX 매핑은 저항 변화에 덜 민감한 HRS 시냅스를 우선시함으로써 크로스바 비이상성으로 인한 정확도 저하를 감소시킨다.
• SwitchX와 상태 인식 학습을 조합하면 CIFAR-10 및 CIFAR-100에서 기존 BNN 대비 청소정확도를 최대 약 35% 향상시키고, 적대적 정확도를 약 6–16% 향상시킨다.
• 상태 인식 학습을 사용할 경우 32×32 크로스바에서 최대 약 22%의 크로스바 전력 절감, 16×16 크로스바에서는 약 21%의 절감을 달성한다.
• 층별 전력 분석 결과, HRS-LRS 분포가 더 비균형이 될수록 특히 conv7과 conv8 사이에서 뚜렷한 전력 절감 효과를 보였다.
• 저항 비이상성으로 성능이 저하되는 상황에서도 SwitchX는 적대적 훈련 기법보다 적대적 공격에 대한 강건성 면에서 뛰어나다.
• 이 방법은 정확도를 훼손하지 않으면서도 에너지 효율성 향상과 적대적 강건성 향상이라는 이중적 이점을 제공한다.