[논문 리뷰] Training large-scale ANNs on simulated resistive crossbar arrays

Malte J. Rasch, Tayfun Gokmen외 1명|arXiv (Cornell University)|2019. 06. 06.

Advanced Memory and Neural Computing참고 문헌 18인용 수 4

한 줄 요약

이 논문은 하드웨어 제약 조건인 제한된 가중치 해상도와 아날로그 노이즈 등으로 인해 대규모 ANN인 AlexNet을 시뮬레이션된 저항성 크로스바 어레이에서 알고리즘 보정(특히 정규화 및 가중치 범위 재매핑)을 통해 성공적으로 훈련시킬 수 있음을 보여준다. 주요 기여는 유한한 12,000개의 유효 장치 상태만을 사용하여 상위-1 테스트 오차를 약 60%로 낮추며, 이는 정규화 및 가중치 재매핑 기법이 정밀도가 높은 부동소수점 훈련과의 정확도 격차를 크게 줄임을 보여준다.

ABSTRACT

Accelerating training of artificial neural networks (ANN) with analog resistive crossbar arrays is a promising idea. While the concept has been verified on very small ANNs and toy data sets (such as MNIST), more realistically sized ANNs and datasets have not yet been tackled. However, it is to be expected that device materials and hardware design constraints, such as noisy computations, finite number of resistive states of the device materials, saturating weight and activation ranges, and limited precision of analog-to-digital converters, will cause significant challenges to the successful training of state-of-the-art ANNs. By using analog hardware aware ANN training simulations, we here explore a number of simple algorithmic compensatory measures to cope with analog noise and limited weight and output ranges and resolutions, that dramatically improve the simulated training performances on RPU arrays on intermediately to large-scale ANNs.

연구 동기 및 목표

• 저항성 처리 단위(RPU) 어레이의 하드웨어 제약 조건이 존재하는 상황에서, ImageNet에서 AlexNet과 같은 대규모 ANN 훈련의 가능성 여부를 조사하기 위해.
• 아날로그 노이즈, 제한된 가중치 해상도, 제한된 다이내믹 레인지가 훈련 성능에 미치는 영향을 평가하기 위해.
• 이러한 제약 조건 하에서 정확도를 향상시키기 위한 단순한 알고리즘 보정 조치를 식별하고 구현하기 위해.
• 대규모 훈련에서 부동소수점 정확도에 도달하기 위해 필요한 최소 유효 장치 상태 수를 규명하기 위해.

제안 방법

• GPU 가속을 통한 Caffe2 통합 RPU 시뮬레이터를 사용하여 저항성 크로스바 어레이에서 대규모 ANN(예: AlexNet)의 시뮬레이션 훈련을 수행함.
• 최대 길이 31인 확률적 펄스 트레인을 사용하여 아날로그 하드웨어 업데이트를 모방하는 펄스 기반 가중치 업데이트를 적용함.
• 전방 및 역전파 단계에서 아날로그 노이즈의 영향을 완화하기 위해 활성화값의 z-점수 정규화를 적용함.
• 유사하게 저항 상태 수를 가상으로 확장하고 정규화를 향상시키기 위해 새로운 가중치 재매핑 기법을 구현함.
• 기본 RPU 모델은 1,200개의 유효 상태(Δw_min = 0.001)를 가지며, 분석을 위해 12,000개 상태로 확장함.
• 배치 크기 25, 가중치 감쇠 λ = 0.00125, 매 15 에포크마다 학습률 감쇠를 사용하여 ImageNet에서 성능 평가함.

실험 결과

연구 질문

• RQ1 ImageNet에서 AlexNet과 같은 대규모 ANN을 아날로그 RPU 어레이에서 수용 가능한 정확도로 훈련시키기 위해 필요한 유효 저항 상태 수는 얼마인가?
• RQ2 정규화 기법이 RPU 기반 훈련 중 역전파 단계에서 아날로그 노이즈의 영향을 효과적으로 줄일 수 있는가?
• RQ3 가중치 범위의 가상 재매핑이 저해상도 RPU 어레이에서 유효 해상도와 일반화 성능을 향상시키는가?
• RQ4 알고리즘 보정이 아날로그 RPU 훈련과 부동소수점 기준 모델 간의 정확도 격차를 어느 정도 줄일 수 있는가?
• RQ5 정규화 및 재매핑의 성능 향상이 현재의 하드웨어 제약 조건 하에서 최신 기술 수준의 정확도를 달성하는 데에 충분한가?

주요 결과

• 단지 1,200개의 유효 장치 상태만을 사용할 경우, ImageNet에서의 상위-1 테스트 오차는 약 80%에 도달하여 해상도 제약으로 인한 심각한 성능 저하가 발생함을 시사함.
• 활성화값의 z-점수 정규화를 적용함으로써 아날로그 노이즈의 영향을 줄이고 훈련 안정성을 향상시켜 더 큰 모델에서 수렴 가능하게 함.
• 가중치 범위 재매핑을 도입함으로써 상위-1 테스트 오차가 약 20%포인트 감소하여, 12,000개의 유효 상태로 약 60%의 오차를 달성함.
• 12,000개 상태와 완전한 알고리즘 보정을 적용한 후에도, 부동소수점 기준 모델의 50% 이하 상위-1 오차 정확도에 도달하지 못함.
• 재매핑 기법의 성능 향상 효과는 ResNet과 같은 浅층 네트워크보다 AlexNet(최대 행렬 차원 9216)과 같은 깊은 네트워크에서 더 두드러짐.
• 결과적으로 알고리즘 보정이 아날로그 훈련의 성능을 크게 향상시키지만, 부동소수점 정확도에 도달하기 위해서는 재료나 시스템 설계 분야에서 추가 혁신이 필요함을 시사함.