[논문 리뷰] NAX: Co-Designing Neural Network and Hardware Architecture for Memristive Xbar based Computing Systems

Shubham Negi, Indranil Chakraborty외 2명|arXiv (Cornell University)|2021. 06. 23.

Advanced Memory and Neural Computing참고 문헌 24인용 수 7

한 줄 요약

NAX는 정확도와 하드웨어 효율성을 균형 있게 유지하기 위해 커널 크기와 크로스바 차원을 함께 최적화함으로써 딥 네ural 네트워크와 메리스티브 크로스바 기반 인메모리 컴퓨팅(IMC) 하드웨어를 공동 설계하는 신경망 아키텍처 탐색 프레임워크이다. 기준 ResNet 모델에 비해 CIFAR-10과 Tiny ImageNet에서 각각 17%와 4% 낮은 EDAP, 0.8%와 0.2% 높은 정확도를 달성한다.

ABSTRACT

In-Memory Computing (IMC) hardware using Memristive Crossbar Arrays (MCAs) are gaining popularity to accelerate Deep Neural Networks (DNNs) since it alleviates the "memory wall" problem associated with von-Neumann architecture. The hardware efficiency (energy, latency and area) as well as application accuracy (considering device and circuit non-idealities) of DNNs mapped to such hardware are co-dependent on network parameters, such as kernel size, depth etc. and hardware architecture parameters such as crossbar size. However, co-optimization of both network and hardware parameters presents a challenging search space comprising of different kernel sizes mapped to varying crossbar sizes. To that effect, we propose NAX -- an efficient neural architecture search engine that co-designs neural network and IMC based hardware architecture. NAX explores the aforementioned search space to determine kernel and corresponding crossbar sizes for each DNN layer to achieve optimal tradeoffs between hardware efficiency and application accuracy. Our results from NAX show that the networks have heterogeneous crossbar sizes across different network layers, and achieves optimal hardware efficiency and accuracy considering the non-idealities in crossbars. On CIFAR-10 and Tiny ImageNet, our models achieve 0.8%, 0.2% higher accuracy, and 17%, 4% lower EDAP (energy-delay-area product) compared to a baseline ResNet-20 and ResNet-18 models, respectively.

연구 동기 및 목표

• 메리스티브 크로스바 기반 인메모리 컴퓨팅(IMC) 시스템에서 DNN 모델 파라미터(예: 커널 크기, 깊이)와 하드웨어 파라미터(예: 크로스바 크기) 간의 상호의존성을 다루기.
• 메리스티브 크로스바의 장치 및 회로 비이상성으로 인한 하드웨어 효율성(에너지, 지연, 면적)과 모델 정확도 사이의 트레이드오프를 극복하기.
• 비이상 조건 하에서 최적의 성능을 달성하기 위해 신경망 아키텍처와 IMC 하드웨어 구성 요소를 공동 최적화하는 NAS 프레임워크 개발하기.
• 네트워크 레이어 간에 이질적인 크로스바 크기를 사용할 경우 아날로그 IMC 시스템에서 하드웨어 효율성과 추론 정확도를 동시에 향상시킬 수 있음을 입증하기.

제안 방법

• 각 DNN 레이어에 대해 다양한 커널 크기(예: 3x3, 5x5)를 서로 다른 크로스바 크기(예: 64x64, 128x128)로 매핑하는 공동 설계 검색 공간을 제안한다.
• 메리스티브 크로스바의 비이상성(예: 부가 저항, 액세스 트랜지스터의 비선형성, I-V 비이상성)을 NAS 동안 정확도 추정에 통합한다.
• 다양한 커널 크기 및 크로스바 크기 옵션을 포함한 혼합 레이어를 갖는 슈퍼넷을 사용한 유연한 아키텍처 탐색(DARTS 스타일) 접근법을 적용한다.
• 비이상성을 무시하는 i-search와 비이상성을 고려하는 ni-search를 포함한 이중 단계 탐색을 수행하여 실제 하드웨어 제약 조건 하에서의 정확도 평가를 수행한다.
• 아키텍처 파rameter 업데이트 중 비이상성의 영향을 추정하기 위해 GENIEx 추론을 활용하여 정확도 인식 탐색을 향상시킨다.
• 학습된 아키텍처 파라미터는 Adam 옵티마이저를 사용하고 단계적 학습률 스케줄을 적용하며, 최종적으로 압축된 네트워크를 테스트 세트에서 검증한다.

실험 결과

연구 질문

• RQ1 크로스바 크기가 메리스티브 크로스바 기반 IMC 시스템에 매핑된 DNN의 하드웨어 효율성(EDAP)과 정확도에 미치는 영향은 어떠한가?
• RQ2 비이상 장치 및 회로 효과를 고려할 때 DNN 아키텍처와 크로스바 크기를 공동 최적화하는 경우, 하드웨어 효율성과 모델 정확도 사이의 최적 트레이드오프는 무엇인가?
• RQ3 DNN 및 하드웨어 파라미터를 동시에 탐색하는 NAS 프레임워크가 고정된 하드웨어 구성에 매핑된 전통적 DNN에 비해 EDAP와 정확도 측면에서 뛰어난 성능을 보일 수 있는가?
• RQ4 더 큰 크로스바에서의 비이상성이 추론 정확도에 미치는 영향은 무엇이며, 각 레이어에 맞는 지능적인 크로스바 크기 선택을 통해 이를 완화할 수 있는가?
• RQ5 비이상성을 탐색 과정에서 고려할 경우, 실제 IMC 하드웨어에서 최종 모델의 정확도는 얼마나 향상되는가?

주요 결과

• 메리스티브 크로스바 하드웨어에 매핑했을 때, NAX는 기준 ResNet-20 모델 대비 CIFAR-10에서 17% 낮은 EDAP와 0.8% 높은 정확도를 달성한다.
• Tiny ImageNet에서는 동일한 하드웨어 제약 조건 하에서 NAX가 기준 ResNet-18 모델 대비 4% 낮은 EDAP와 0.2% 높은 정확도를 확보한다.
• 최적의 크로스바 크기는 레이어마다 다를 수 있다: 출력 채널 수가 128을 초과할 경우, 활용도 저하를 방지하기 위해 더 큰 크로스바(예: 128x128)를 사용하고, 더 작은 연산에는 더 작은 크로스바(예: 64x64)를 선호한다.
• 비이상성을 탐색 과정에 반영한 ni-search 버전은 i-search에 비해 정확도가 뚜렷이 향상되며, 특히 Tiny ImageNet에서 최고 성능을 낸 모델의 정확도 격차가 18.57%에 이른다.
• ni-search의 탐색 비용은 i-search(5 GPU시간)보다 높아서 Tiny ImageNet 기준 350 GPU시간을 소요하지만, 결과적으로 더 높은 정확도와 하드웨어 효율성을 확보한다.
• 결과적으로, 레이어 간에 이질적인 크로스바 크기 조정이 하드웨어 효율성과 정확도를 균형 있게 유지하는 데 필수적임을 입증하였으며, 128x128 크로스바가 고채널 연산에 최적이고, 64x64 크로스바가 작은 연산에 적합함을 확인했다.