[논문 리뷰] Zero-shifting Technique for Deep Neural Network Training on Resistive Cross-point Arrays

Hyungjun Kim, Malte J. Rasch외 6명|arXiv (Cornell University)|2019. 07. 24.

Advanced Memory and Neural Computing참고 문헌 29인용 수 12

한 줄 요약

이 논문은 RRAM 장치에서 비대칭 도전도 조절로 인해 저항성 크로스포인트 어레이 기반 DNN 학습에서 성능 저하가 발생하는 문제를 완화하기 위해 제로 시프팅 기법을 제안한다. 동적으로 기준 가중치 점을 조정하여 불균형한 업데이트/다운데이트 가중치 보정을 통해 기울기 누적에서 대칭성을 복원함으로써, 하드웨어 설계를 변경하지 않고도 비균형한 시냅스에서 MNIST 분류 정확도를 크게 향상시킨다.

ABSTRACT

A resistive memory device-based computing architecture is one of the promising platforms for energy-efficient Deep Neural Network (DNN) training accelerators. The key technical challenge in realizing such accelerators is to accumulate the gradient information without a bias. Unlike the digital numbers in software which can be assigned and accessed with desired accuracy, numbers stored in resistive memory devices can only be manipulated following the physics of the device, which can significantly limit the training performance. Therefore, additional techniques and algorithm-level remedies are required to achieve the best possible performance in resistive memory device-based accelerators. In this paper, we analyze asymmetric conductance modulation characteristics in RRAM by Soft-bound synapse model and present an in-depth analysis on the relationship between device characteristics and DNN model accuracy using a 3-layer DNN trained on the MNIST dataset. We show that the imbalance between up and down update leads to a poor network performance. We introduce a concept of symmetry point and propose a zero-shifting technique which can compensate imbalance by programming the reference device and changing the zero value point of the weight. By using this zero-shifting method, we show that network performance dramatically improves for imbalanced synapse devices.

연구 동기 및 목표

• DNN 학습 중 RRAM 장치에서 발생하는 비대칭 도전도 조절 문제로 인한 모델 정확도 저하 문제를 해결한다.
• 가중치 업데이트 방향(업 대비 다운) 간의 불균형으로 인해 저항성 크로스포인트 어레이에서 성능 저하가 발생하는 근본 원인을 규명한다.
• 하드웨어 수정 없이 기울기 누적에서 대칭성을 복원하기 위한 알고리즘 수준의 해결책을 개발한다.
• 기준점 재조정이 RRAM 기반 가속기에서 장치 수준의 비대칭성을 효과적으로 보완할 수 있음을 입증한다.

제안 방법

• 업데이트와 다운데이트가 균형을 이루는 이상적인 기준 가중치 값으로 '대칭점' 개념을 도입한다.
• 제로 시프팅 기법을 제안: 기준 RRAM 장치를 대칭점에 맞추어 프로그래밍함으로써 가중치의 0값 기준점을 재정의한다.
• 이동된 기준점을 고려하여 기울기 업데이트 프로세스를 수정함으로써 효과적인 가중치 변화의 대칭성을 확보한다.
• HfO2 기반 RRAM 장치의 도전도 조절 비대칭성을 시뮬레이션 및 분석하기 위해 소프트바운드 시냅스 모델을 사용한다.
• 실제 장치 제약 조건 하에서 비대칭성의 영향과 제로 시프팅의 효과를 평가하기 위해 MNIST에 대해 3층 DNN을 학습시킨다.
• 기준 장치를 장치의 고유한 대칭점에 맞추어 校정함으로써 드리프트와 업데이트 불균형을 최소화한다.

실험 결과

연구 질문

• RQ1 RRAM 장치에서 비대칭 도전도 조절이 DNN 학습 성능에 미치는 영향은 무엇인가?
• RQ2 장치 수준의 도전도 비대칭성과 그로 인한 DNN 모델 정확도 향상 간의 관계는 무엇인가?
• RQ3 알고리즘 보완을 통해 하드웨어 재설계 없이도 RRAM 기반 DNN 가속기의 성능을 복원할 수 있는가?
• RQ4 동적으로 0점 기준점을 이동시키는 것이 학습 안정성과 정확도 향상에 어떻게 기여하는가?

주요 결과

• 비균형한 RRAM 시냅스를 사용할 경우 제로 시프팅 기법이 MNIST 데이터셋에서 DNN 분류 정확도를 크게 향상시킨다.
• 기준 가중치 점을 재정의함으로써, 이 기법은 RRAM 장치의 비대칭적인 업데이트/다운 도전도 변화를 효과적으로 보완한다.
• 소프트바운드 시냅스 모델 분석을 통해 도전도 비대칭성이 저항성 크로스포인트 어레이에서 성능 저하의 주요 원인임을 확인한다.
• 제안된 방법은 기반 장치 아키텍처를 변경하지 않고도 RRAM 하드웨어에서 안정적이고 정확한 DNN 학습을 가능하게 한다.