[논문 리뷰] X-CHANGR: Changing Memristive Crossbar Mapping for Mitigating Line-Resistance Induced Accuracy Degradation in Deep Neural Networks

Amogh Agrawal, Chankyu Lee외 1명|arXiv (Cornell University)|2019. 06. 29.

Advanced Memory and Neural Computing참고 문헌 38인용 수 21

한 줄 요약

이 논문은 메모리스티브 크로스바 기반 DNN 추론에서 선 저항으로 인한 정확도 저하를 줄이기 위해, 민감도가 높은 DNN 가중치와 커널을 드라이버에 가까운 컬럼으로 순위 매기고 재할당하는 X-CHANGR라는 크로스바 재매핑 기법을 제안한다. VGG16 네트워크와 CIFAR-10을 대상으로 정적(SRS) 및 동적(DRS) 재매핑 전략을 적용한 결과, 재학습이나 비휘발성 메모리에 다수 기록을 수행하지 않아도 기준 맵핑 대비 정확도 저하를 각각 2.9%와 2.1%로 줄일 수 있었으며, 이는 기준 맵핑의 5.6%에 비해 유의미한 향상이다.

ABSTRACT

There is widespread interest in emerging technologies, especially resistive crossbars for accelerating Deep Neural Networks (DNNs). Resistive crossbars offer a highly-parallel and efficient matrix-vector-multiplication (MVM) operation. MVM being the most dominant operation in DNNs makes crossbars ideally suited. However, various sources of device and circuit non-idealities lead to errors in the MVM output, thereby reducing DNN accuracy. Towards that end, we propose crossbar re-mapping strategies to mitigate line-resistance induced accuracy degradation in DNNs, without having to re-train the learned weights, unlike most prior works. Line-resistances degrade the voltage levels along the crossbar columns, thereby inducing more errors at the columns away from the drivers. We rank the DNN weights and kernels based on a sensitivity analysis, and re-arrange the columns such that the most sensitive kernels are mapped closer to the drivers, thereby minimizing the impact of errors on the overall accuracy. We propose two algorithms $-$ static remapping strategy (SRS) and dynamic remapping strategy (DRS), to optimize the crossbar re-arrangement of a pre-trained DNN. We demonstrate the benefits of our approach on a standard VGG16 network trained using CIFAR10 dataset. Our results show that SRS and DRS limit the accuracy degradation to 2.9\% and 2.1\%, respectively, compared to a 5.6\% drop from an as it is mapping of weights and kernels to crossbars. We believe this work brings an additional aspect for optimization, which can be used in tandem with existing mitigation techniques, such as in-situ compensation, technology aware training and re-training approaches, to enhance system performance.

연구 동기 및 목표

• 저항성 크로스바 기반 DNN 추론에서 선 저항으로 인한 정확도 저하 문제를 해결하기 위해, 컬럼을 따라 전압 강하가 발생함에 따라 성능 저하가 발생하는 원인을 분석한다.
• 재학습이나 비휘발성 메모리에 다수 기록을 수행하지 않아도 되는 방식으로 이러한 저하를 완화함으로써, 에너지 소모가 크고 장치 내구성에 제한을 받는 문제를 해결한다.
• DNN 레이어의 민감도를 순위 매김하고 고민감도 커널을 오류가 적은 컬럼으로 재할당함으로써 크로스바 매핑을 최적화한다.
• 최소한의 하드웨어 오버헤드로 시스템 수준의 정확도 향상을 달성할 수 있는 정적 및 동적 두 가지 실용적인 재매핑 전략을 개발한다.

제안 방법

• 통계 모델을 통해 선 저항 영향을 특성화하여, 드라이버에서 멀어질수록 전압 저하가 증가하고, 이로 인해 원거리 컬럼에서 오류가 더 커지는 것을 확인한다.
• 민감도 분석을 통해 전체 학습 데이터셋을 대상으로 δ-값을 계산하여, 최종 출력에 미치는 영향을 기준으로 뉴런을 순위 매긴다. δ 값이 클수록 민감도가 높음을 의미한다.
• 정적 재매핑 전략(SRS)에서는 전체 데이터셋을 사용해 모든 뉴런을 한 번 순위 매기며, 이 순위에 따라 크로스바 컬럼을 할당한다.
• 동적 재매핑 전략(DRS)에서는 미니배치를 사용해 반복적으로 국소 기울기를 계산하고, 뉴런을 재순위 매기며, 각 배치 이후 컬럼을 재매핑한다. 이 과정에서 검증 정확도가 가장 높은 구성으로 최종 매핑을 선택한다.
• 크로스바 모델을 시스템 수준 프레임워크와 통합하여, VGG16과 CIFAR-10을 대상으로 기준 맵핑, SRS, DRS 구성 간 정확도를 평가한다.
• 최종 매핑는 검증 성능 기반으로 선택되어 전체 정확도 저하를 최소화한다.

실험 결과

연구 질문

• RQ1 크로스바 컬럼 전반에 걸쳐 선 저항으로 인한 전압 저하가 어떻게 변화하는가? 이로 인해 DNN 추론 정확도에 어떤 영향을 미치는가?
• RQ2 DNN 가중치와 커널의 민감도 분석을 통해 선 저항 오류에 가장 취약한 레이어를 예측할 수 있는가?
• RQ3 민감도 순위 기반 크로스바 컬럼 재매핑 전략을 통해 재학습 없이도 전체 정확도 저하를 줄일 수 있는가?
• RQ4 정적 및 동적 재매핑 전략 간 정확도 향상 정도와 하드웨어 비용 측면에서의 성능를 비교할 수 있는가?
• RQ5 이 기법은 기존의 보완 기술(예: 인-스튜 컴 pensation 또는 재학습)과 병행하여 사용할 수 있는가?

주요 결과

• VGG16 네트워크의 기준 정확도는 하드웨어 유발 오류 이전에 CIFAR-10에서 89.29%였다.
• 기본 크로스바 매핑을 사용할 경우 선 저항으로 인해 정확도가 5.6% 감소하여 성능이 83.70%로 떨어졌다.
• 정적 재매핑 전략(SRS)은 저하를 2.9%로 줄였으며, 테스트 정확도는 86.37%를 기록했다.
• 동적 재매핑 전략(DRS)은 가장 우수한 성능을 기록하여 저하를 2.1%로 제한하고, 테스트 정확도는 87.18%를 달성했다.
• DRS는 반복적인 재매핑과 설계 공간 탐색의 확률적 탐색 덕분에 SRS를 능가했다.
• 두 전략 모두 재학습을 피하고 eNVM 쓰기 횟수를 최소화하여, 에너지 제약이 있는 엣지 기반 시스템에 적합하다.