[논문 리뷰] Adaptive Precision CNN Accelerator Using Radix-X Parallel Connected Memristor Crossbars

Jaeheum Lee, Jason K. Eshraghian외 2명|arXiv (Cornell University)|2019. 06. 22.

Advanced Memory and Neural Computing참고 문헌 39인용 수 15

한 줄 요약

이 논문은 멤리스터 크로스바를 병렬로 연결하여, 각 크로스포인트당 멤리스터 수를 적응적으로 변화시켜 다중 비트 및 음수 가중치 표현을 가능하게 하며, 면적을 절감하는 라디안-X 컨volutional 신경망(CNN) 가속기 기반의 아키텍처를 제안한다. 부호 있는 가중치를 위해 별도의 복제된 컬럼을 제거함으로써, 단일 비트 멤리스터와 공동 설계된 가중치 매핑 알고리즘을 사용하여, 크로스바 면적을 46% 감소시키고 CIFAR-10 검증 정확도를 90.5%로 달성하였으며, 이는 바이너리화된 네트워크보다 4.5% 높은 성능이다.

ABSTRACT

Neural processor development is reducing our reliance on remote server access to process deep learning operations in an increasingly edge-driven world. By employing in-memory processing, parallelization techniques, and algorithm-hardware co-design, memristor crossbar arrays are known to efficiently compute large scale matrix-vector multiplications. However, state-of-the-art implementations of negative weights require duplicative column wires, and high precision weights using single-bit memristors further distributes computations. These constraints dramatically increase chip area and resistive losses, which lead to increased power consumption and reduced accuracy. In this paper, we develop an adaptive precision method by varying the number of memristors at each crosspoint. We also present a weight mapping algorithm designed for implementation on our crossbar array. This novel algorithm-hardware solution is described as the radix-X Convolutional Neural Network Crossbar Array, and demonstrate how to efficiently represent negative weights using a single column line, rather than double the number of additional columns. Using both simulation and experimental results, we verify that our radix-5 CNN array achieves a validation accuracy of 90.5% on the CIFAR-10 dataset, a 4.5% improvement over binarized neural networks whilst simultaneously reducing crossbar area by 46% over conventional arrays by removing the need for duplicate columns to represent signed weights.

연구 동기 및 목표

• 부호 있는 가중치를 표현하기 위해 복제된 컬럼을 사용하는 전통적인 멤리스터 크로스바의 높은 면적 및 전력 오버헤드 문제를 해결하기 위해.
• 칩 면적 증가 없이 저정밀도 멤리스터 기반 CNN 가속기에서 다중 비트 및 음수 가중치 표현을 가능하게 하기 위해.
• 메모리 내 계산을 위한 하드웨어 인식 알고리즘을 공동 설계하여 딥 러닝 추론의 본드 밸런스 문제를 줄이기 위해.
• 변동 가능한 크로스포인트당 멤리스터 수를 통한 적응형 정밀도를 통해 단일 비트 멤리스터를 사용하여 엣지 AI 가속기의 정확도 및 면적 효율성을 향상시키기 위해.
• 대규모 시뮬레이션(CIFAR-10)과 소규모 실험 검증(MNIST)을 통해 실현 가능성을 입증하기 위해.

제안 방법

• 제안된 아키텍처는 각 크로스포인트에 병렬로 연결된 멤리스터를 사용하며, 셀당 멤리스터 수가 늘어날수록 효과적인 가중치 값이 결정되어, 이를 통해 라디안-X 표현을 가능하게 한다.
• 사용자가 선택한 정밀도 기반으로 사전 훈련된 CNN 가중치를 라디안-X 값으로 인코딩하는 새로운 가중치 매핑 알고리즘이 제안되며, 더 높은 가중치 크기를 표현하기 위해 다수의 멤리스터를 할당한다.
• 음수 가중치는 라디안-X 프레임워크 내에서 균형 잡힌 숫자 체계를 사용하여 표현되며, 별도의 차등 컬럼 쌍이 필요 없게 된다.
• 매트릭스-벡터 곱셈(MVM)을 효율적으로 수행하기 위해 컬럼 단위의 병렬성을 활용하며, 읽기 전류는 출력 특징에 선형적으로 매핑된다.
• 크로스바는 20µm 금속 라인 너비를 사용하여 제작되었으며, MNIST 이미지와 엣지 검출 필터를 활용한 소규모 배열에서 실험 검증이 수행되었다.
• 시스템은 추론 최적화를 위해 쓰기 동작을 최소화하고, 초기 프로그래밍 이후에는 읽기 펄스만 사용함으로써 쓰기 가변성 문제를 피한다.

실험 결과

연구 질문

• RQ1 크로스포인트당 멤리스터 수를 조절하는 적응형 정밀도가 바이너리화된 네트워크보다 더 높은 정확도를 달성하면서도 칩 면적을 줄일 수 있는가?
• RQ2 단일 비트 멤리스터 크로스바에서 컬럼 수를 두 배로 늘리지 않고도 음수 가중치를 효율적으로 표현할 수 있는가?
• RQ3 기존의 차등 컬럼 방식 대비, 라디안-X 아키텍처는 정밀도 및 면적 효율성에서 얼마나 향상되는가?
• RQ4 병렬 멤리스터 수 증가로 인한 등가 저항 감소가 전류 처리 능력과 전력 효율성에 어떤 영향을 미치는가?
• RQ5 제안된 알고리즘-하드웨어 공동 설계가 단일 비트 멤리스터만을 사용하여 CIFAR-10 및 MNIST와 같은 표준 데이터셋에서 높은 추론 정확도를 달성할 수 있는가?

주요 결과

• 라디안-5 CNN 가속기는 CIFAR-10 데이터셋에서 90.5%의 검증 정확도를 달성하였으며, 이는 바이너리화된 신경망보다 4.5% 높은 성능이다.
• 제안된 설계는 부호 있는 가중치를 위한 기존의 차등 컬럼 아키텍처 대비 크로스바 면적을 46% 감소시켰다.
• 소규모 크로스바 어레이에서의 실험 결과, MNIST 이미지에 대해 3×3 커널을 사용한 2차원 컨볼루션을 성공적으로 구현하였으며, 거의 완벽한 출력 이미지를 생성하였다.
• MNIST 엣지 검출에 대한 전체 컬럼 전류는 4.0µA로 측정되어, 테스트한 스케일에서 관리 가능한 전력 소비임을 시사하였다.
• 라디안-5 방식은 기존의 차등 쌍 설계에서 네 개의 컬럼을 사용하는 것에 비해, 단 두 개의 컬럼만으로도 2비트 표현보다 20% 높은 정밀도를 달성하였다.
• 초기 프로그래밍 이후 쓰기 동작을 피하므로, 쓰기 가변성과 내구성 저하 문제를 완전히 제거하여 높은 신뢰성을 유지한다.