[논문 리뷰] Memristor-based Deep Convolution Neural Network: A Case Study

Fan Zhang, Miao Hu|arXiv (Cornell University)|2018. 09. 14.

Advanced Memory and Neural Computing참고 문헌 11인용 수 7

한 줄 요약

이 논문은 개선된 변환 알고리즘과 실험 검증된 회로 시뮬레이션을 통해 1T1M 크로스바에 컨볼루션 커널을 매핑하는 실용적인 메모리스터 기반 ResNet-20의 실현 가능 구현을 제안한다. 8비트 ADC/DAC 양자화가 분류 정확도를 유지하기 위해 필수적임을 입증하며, 종단 간 시뮬레이션에서 층 간 누적 오차를 방지하여 최악의 경우 상대 오차가 1.2% 미만임을 보여준다.

ABSTRACT

In this paper, we firstly introduce a method to efficiently implement large-scale high-dimensional convolution with realistic memristor-based circuit components. An experiment verified simulator is adapted for accurate prediction of analog crossbar behavior. An improved conversion algorithm is developed to convert convolution kernels to memristor-based circuits, which minimizes the error with consideration of the data and kernel patterns in CNNs. With circuit simulation for all convolution layers in ResNet-20, we found that 8-bit ADC/DAC is necessary to preserve software level classification accuracy.

연구 동기 및 목표

• 대규모 메모리스터 크로스바 어레이에 대한 정확한 아날로그 회로 시뮬레이션의 부족을 해결하기 위해.
• 실제 하드웨어 구성 요소를 사용하여 고차원 컨볼루션 커널을 2차원 메모리스터 크로스바에 매핑할 수 있는 실용적인 방법을 개발하기 위해.
• 최신 CNN 구조인 ResNet-20이 아날로그 메모리스터 크로스바로 구현되었을 때 신뢰성 있게 기능할 수 있는지 평가하기 위해.
• 비이상적 요소와 오차 전파를 고려할 때 분류 정확도를 유지하기 위해 필요한 최소 ADC/DAC 비트 폭을 규명하기 위해.

제안 방법

• 메모리스터의 비이상적 특성, 데이터 희소성, 커널 패턴을 고려한 개선된 커널-전도도 변환 알고리즘을 개발하였다.
• 실험 검증된 시뮬레이터를 사용하여 아날로그 크로스바 동작을 모델링하였으며, 단순화된 모델 대신 현실적인 SPICE 기반 정확도를 적용하였다.
• 1T1M 크로스바 아키텍처를 사용하였으며, 행에 입력 전압을 적용하고 열에서 출력 전류를 읽어 아날로그 벡터-행렬 곱셈을 수행하였다.
• 크로스바 출력 편차를 보정하기 위해 10개의 무작위 선택된 입력 샘플에 대해 1차 다항식 피팅을 사용한 校정 단계를 도입하였다.
• CIFAR-10의 일부(150장의 이미지)를 사용하여 ResNet-20의 모든 컨볼루션 층을 시뮬레이션하였으며, ADC/DAC 양자화를 4-, 6-, 8비트 설정으로 다양하게 조정하였다.
• 오차 전파를 층 단위로 추적하여 최종 분류 정확도에 미치는 누적 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 실제 아날로그 회로 시뮬레이션은 대규모 CNN에서 메모리스터 크로스바의 행동을 정확히 예측할 수 있는가?
• RQ2 메모리스터 기반 CNN 추론에서 소프트웨어 수준의 분류 정확도를 유지하기 위해 필요한 최소 ADC/DAC 비트 폭은 얼마인가?
• RQ3 데이터 희소성과 커널 유형은 메모리스터 크로스바 구현의 정확도에 어떤 영향을 미치는가?
• RQ4 선로 저항과 장치 변동성과 같은 비이상적 요소가 종단 간 분류 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• 개선된 변환 알고리즘은 원래 방법 대비 평균 상대 오차를 약 50% 감소시켰으며, 특히 낮은 이상 출력 값과 높은 데이터 희소성 조건에서 두드러진다.
• 576×64 크로스바에서 평균 상대 오차는 0.25% (약 8.6비트)이며, 최악의 상황에서의 상대 오차는 1.2% (약 6.4비트)였다.
• ADC/DAC 양자화 없이 시뮬레이션할 경우 오차가 층 간 누적되어 분류 정확도가 떨어지며, 이는 대규모 배포에 실용적이지 않다.
• 6비트 ADC/DAC는 오차율을 10%에서 17.3%로 증가시키며, 4비트 ADC/DAC는 11.3%에서 88.7%로 증가시켜 심각한 성능 저하를 초래한다.
• 8비트 ADC/DAC는 최적의 균형을 이루며, 소프트웨어 기준 대비 분류 정확도를 유지하거나 약간 향상시킨다.
• 시뮬레이션 결과는 메모리스터 기반 CNN 추론에서 분류 정확도 저하를 방지하기 위해 8비트 양자화가 필수적임을 확인한다.