[논문 리뷰] TraNNsformer: Neural Network Transformation for memristive crossbar based neuromorphic system design

Aayush Ankit, Abhronil Sengupta외 1명|arXiv (Cornell University)|2017. 11. 13.

Advanced Memory and Neural Computing참고 문헌 28인용 수 27

한 줄 요약

TraNNsformer는 막대한 연결 패턴을 메모리스티브 크로스바 어レイ(MCA)와 호환되는 최적의 프루닝 및 클러스터링 구조로 변환하는 기술 인식 기반 훈련 프레임워크이다. 이는 정확도 손실 없이 면적을 28–55% 감소시키고 에너지 소비를 49–67% 감소시킨다. 이 프레임워크는 연결을 반복적으로 프루닝하고 클러스터를 형성하며, 미세조정을 통해 DNN를 MCA의 정규 구조와 일치시켜 효율적인 하드웨어 매핑을 가능하게 한다.

ABSTRACT

Implementation of Neuromorphic Systems using post Complementary Metal-Oxide-Semiconductor (CMOS) technology based Memristive Crossbar Array (MCA) has emerged as a promising solution to enable low-power acceleration of neural networks. However, the recent trend to design Deep Neural Networks (DNNs) for achieving human-like cognitive abilities poses significant challenges towards the scalable design of neuromorphic systems (due to the increase in computation/storage demands). Network pruning [7] is a powerful technique to remove redundant connections for designing optimally connected (maximally sparse) DNNs. However, such pruning techniques induce irregular connections that are incoherent to the crossbar structure. Eventually they produce DNNs with highly inefficient hardware realizations (in terms of area and energy). In this work, we propose TraNNsformer - an integrated training framework that transforms DNNs to enable their efficient realization on MCA-based systems. TraNNsformer first prunes the connectivity matrix while forming clusters with the remaining connections. Subsequently, it retrains the network to fine tune the connections and reinforce the clusters. This is done iteratively to transform the original connectivity into an optimally pruned and maximally clustered mapping. We evaluated the proposed framework by transforming different Multi-Layer Perceptron (MLP) based Spiking Neural Networks (SNNs) on a wide range of datasets (MNIST, SVHN and CIFAR10) and executing them on MCA-based systems to analyze the area and energy benefits. Without accuracy loss, TraNNsformer reduces the area (energy) consumption by 28% - 55% (49% - 67%) with respect to the original network. Compared to network pruning, TraNNsformer achieves 28% - 49% (15% - 29%) area (energy) savings. Furthermore, TraNNsformer is a technology-aware framework that allows mapping a given DNN to any MCA size permissible by the memristive technology for reliable operations.

연구 동기 및 목표

• 비정규적이고 프루닝된 DNN와 메모리스티브 크로스바 어레이(MCA)의 정규적인 크로스바 아키텍처 간의 호환성 문제를 해결하기 위해.
• 프루닝된 DNN의 비정규적 연결 구조로 인한 하드웨어의 면적 및 에너지 소비 비효율성을 줄이기 위해.
• 모든 크기의 MCA에 DNN를 매핑할 수 있는 프레임워크를 개발하기 위해.
• DNN의 네트워크 구조를 MCA 하드웨어 제약 조건과 일치시켜 효율적이고 저전력의 뉴로모픽 시스템 설계를 가능하게 하기 위해.

제안 방법

• 중복된 연결을 제거하면서도 나머지 연결을 클러스터로 그룹화하기 위해 DNN의 연결 매트릭스를 프루닝하는 것.
• 클러스터 형성과 정확도 유지를 위해 반복적으로 네트워크를 재훈련하는 것.
• 원래 DNN를 MCA의 크로스바 구조와 호환되는 최대한 희박하고 클러스터링된 연결 패턴으로 변환하는 것.
• 클러스터의 밀집도와 네트워크 정확도를 최적화하기 위해 프루닝과 재훈련 간 피드백 루프를 적용하는 것.
• 최종 네트워크 구조가 메모리스티브 기술이 허용하는 모든 MCA 크기와도 확장 가능하고 호환되도록 보장하는 것.
• 메모리스티브 기반 뉴로모픽 하드웨어에 DNN를 최소한의 면적 및 에너지 오버헤드로 직접 매핑하기 위한 기술 인식 기반 접근법을 사용하는 것.

실험 결과

연구 질문

• RQ1 어떻게 비정규적이고 프루닝된 DNN를 메모리스티브 크로스바 어레이의 구조적 제약 조건과 일치하는 연결 패턴으로 변환할 수 있는가?
• RQ2 구조적 연결을 사용해 DNN를 MCA 기반 시스템에 매핑할 때 얻을 수 있는 최대 면적 및 에너지 절감은 얼마인가?
• RQ3 제안된 프레임워크는 MCA 기반 하드웨어에 효율적으로 매핑하면서도 네트워크 정확도를 유지할 수 있는가?
• RQ4 하드웨어 효율성 측면에서 기존의 네트워크 프루닝 기법과 비교해 프레임워크의 성능은 어떠한가?
• RQ5 프레임워크는 다양한 MCA 크기에 대해 얼마나 확장 가능하며, 신뢰성과 성능을 유지할 수 있는가?

주요 결과

• TraNNsformer는 MCA 기반 시스템에서 원본 DNN 대비 면적 소비를 28%에서 55%까지 감소시키고, 에너지 소비를 49%에서 67%까지 감소시켰다.
• 기존의 네트워크 프루닝 기법 대비 프레임워크는 면적 절감 효과를 28%에서 49%까지 더 크게 확보했으며, 에너지 절감 효과도 15%에서 29%까지 더 높였다.
• 변환된 네트워크는 MNIST, SVHN, CIFAR10 데이터셋에서 원본 DNN와 동일한 정확도를 유지했다.
• 프레임워크는 메모리스티브 기술이 허용하는 모든 MCA 크기에 어떤 DNN라도 매핑할 수 있어 확장성과 신뢰성을 보장한다.
• 반복적인 프루닝과 재훈련 과정을 통해 MCA 하드웨어와 매우 호환되는 최대한 희박하고 클러스터링된 연결 패턴이 성공적으로 형성되었다.
• 다양한 데이터셋과 네트워크 아키텍처에서 일관된 성능 향상을 보이며, 이는 프레임워크의 일반화 능력을 확인한다.