[논문 리뷰] Mixed-precision training of deep neural networks using computational memory

S. R. Nandakumar, Manuel Le Gallo외 4명|arXiv (Cornell University)|2017. 12. 04.

Advanced Memory and Neural Computing참고 문헌 29인용 수 11

한 줄 요약

이 논문은 저해상도 행렬-벡터 곱셈을 위한 저밀도 정밀도 계산 메모리 유닛과 저밀도 정밀도 디지털 유닛을 결합한 혼합 정밀도 학습 아키텍처를 제안한다. 가중치 업데이트를 누적하는 데 고정밀도 디지털 유닛을 사용하고, 필요한 경우에만 희박한 고정밀도 가중치 업데이트를 적용함으로써, 비정상적인 특성(예: 확률적 특성, 제한된 업데이트 해상도)을 가진 실질적인 단상 메모리 모델을 사용하여 MNIST에서 97.40%의 테스트 정확도를 달성한다.

ABSTRACT

Deep neural networks have revolutionized the field of machine learning by providing unprecedented human-like performance in solving many real-world problems such as image and speech recognition. Training of large DNNs, however, is a computationally intensive task, and this necessitates the development of novel computing architectures targeting this application. A computational memory unit where resistive memory devices are organized in crossbar arrays can be used to locally store the synaptic weights in their conductance states. The expensive multiply accumulate operations can be performed in place using Kirchhoff's circuit laws in a non-von Neumann manner. However, a key challenge remains the inability to alter the conductance states of the devices in a reliable manner during the weight update process. We propose a mixed-precision architecture that combines a computational memory unit storing the synaptic weights with a digital processing unit and an additional memory unit accumulating weight updates in high precision. The new architecture delivers classification accuracies comparable to those of floating-point implementations without being constrained by challenges associated with the non-ideal weight update characteristics of emerging resistive memories. A two layer neural network in which the computational memory unit is realized using non-linear stochastic models of phase-change memory devices achieves a test accuracy of 97.40% on the MNIST handwritten digit classification problem.

연구 동기 및 목표

• 계산 메모리 기반 DNN 학습에서 발생하는 비이상적 저항성 메모리 장치의 문제(예: 제한된 업데이트 해상도, 확률적 특성, 비선형성)를 해결하기 위해.
• 현재 최고 성능를 달성하지 못하는 신규 저항성 메모리 기술을 사용하여 고정밀도 딥 뉴럴 네트워크 학습을 가능하게 하기 위해.
• 저항성 장치에 빈번한 정밀도가 떨어지는 가중치 업데이트를 최소화함으로써, 메모리 내 계산의 에너지 및 속도 이점을 유지하기 위해.
• 전방 및 역전파 과정에서 계산 메모리의 효율성을 활용하면서도, 고정밀도 디지털 누적으로 정확한 가중치 업데이트를 보장하는 하이브리드 아키텍처를 개발하기 위해.

제안 방법

• 아키텍처는 키르히호프의 법칙을 통해 현장에서 행렬-벡터 곱셈을 수행할 수 있도록, 교차배선 배열에 있는 단상 메모리(PCM) 장치를 사용하여 합성 시냅스 가중치를 도전도 상태로 저장하는 계산 메모리 유닛을 사용한다.
• 가중치 업데이트는 저항성 메모리 장치에 직접 빈번히 프로그래밍되지 않는 고정밀도 디지털 유닛에 누적된다.
• 누적된 업데이트가 장치의 최소 업데이트 해상도와 유사한 임계값에 도달할 경우에만 메모리 어레이에 단일 펄스가 적용된다.
• 읽기 후보 없이 단일 펄스 프로그래밍 전략을 적용함으로써 오버헤드와 지연을 감소시킨다.
• 시스템은 누적 오차가 장치의 해상도를 초과할 경우에만 업데이트를 적용하는 희박한 업데이트 메커니즘을 사용하여, 장치 프로그래밍 이벤트를 최소화한다.
• 누적과 동시에 임계값 설정 및 뺄셈 연산을 병렬로 수행하여 추가적인 메모리 액세스 오버헤드를 방지한다.

실험 결과

연구 질문

• RQ1 혼합 정밀도 아키텍처는 저항성 메모리 장치의 비이상적 행동(예: 확률적 특성, 제한된 업데이트 해상도)을 어떻게 완화할 수 있는가?
• RQ2 계산 메모리 기반 행렬-벡터 곱셈을 얼마나 효율적으로 전방 및 역전파 과정에 활용할 수 있으며, 학습 정확도를 손상시키지 않을 수 있는가?
• RQ3 고정밀도 누적 가중치 업데이트 방식은 표준 확률적 경사 하강법(SGD)에 비해 수렴 속도와 최종 정확도 측면에서 어떻게 비교되는가?
• RQ4 저항성 메모리 기반 시스템에서 희박하고 고정밀도 업데이트가 학습 효율성과 에너지 소비에 어떤 영향을 미치는가?
• RQ5 비선형성과 비대칭적인 도전도 반응을 보이는 실질적인 PCM 장치 모델을 혼합 정밀도 업데이트 전략과 조합하여도 고정밀도 분류 정확도를 달성할 수 있는가?

주요 결과

• 제안된 아키텍처는 실질적인 90 nm 단상 메모리 모델을 사용하여 MNIST 손글씨 숫자 분류 작업에서 97.40%의 테스트 정확도를 달성한다.
• 저밀도 정밀도 계산 메모리와 희박한 장치 업데이트를 사용하더라도, 전체 정밀도 부동소수점 학습과 비교해 유사한 분류 정확도를 유지한다.
• 희박하고 고정밀도 업데이트 덕분에 저항성 메모리 프로그래밍 이벤트 수가 수 개의 주기수 감소한다.
• 장치 수준의 비이상적 특성(예: 도전도 프로그래밍 비대칭성, 비선형성, 확률적 특성)에 대해 시스템이 강건함을 입증한다.
• 고정밀도 누적과 희박한 업데이트 메커니즘 덕분에 에너지 및 시간 절약이 크게 이루어지며, 학습 수렴성을 유지한다.
• 가중치 업데이트 관리의 최소한의 오버헤드로 인해, 메모리 내 계산의 계산 효율성을 유지함으로써 O(N²) 행렬-벡터 연산을 고정된 시간 내에 가속화한다.