[논문 리뷰] Sparsely-Connected Neural Networks: Towards Efficient VLSI Implementation of Deep Neural Networks

Arash Ardakani, Carlo Condo외 1명|arXiv (Cornell University)|2016. 11. 04.

Advanced Neural Network Applications참고 문헌 28인용 수 34

한 줄 요약

이 논문은 선형 피드백 시프트 레지스터(LFSRs)를 기반으로 생성된 무작위 연결 마스크를 사용하여 완전히 연결된 층의 연결 수를 최대 90% 감소시키는 희소 연결 신경망을 제안한다. 이로 인해 VLSI 구현에서 실리콘 면적은 최대 90% 감소하고, 뉴런당 에너지 소비는 84% 감소하며, MNIST, CIFAR10, SVHN 데이터셋에서 정확도는 향상되거나 유지된다.

ABSTRACT

Recently deep neural networks have received considerable attention due to their ability to extract and represent high-level abstractions in data sets. Deep neural networks such as fully-connected and convolutional neural networks have shown excellent performance on a wide range of recognition and classification tasks. However, their hardware implementations currently suffer from large silicon area and high power consumption due to the their high degree of complexity. The power/energy consumption of neural networks is dominated by memory accesses, the majority of which occur in fully-connected networks. In fact, they contain most of the deep neural network parameters. In this paper, we propose sparsely-connected networks, by showing that the number of connections in fully-connected networks can be reduced by up to 90% while improving the accuracy performance on three popular datasets (MNIST, CIFAR10 and SVHN). We then propose an efficient hardware architecture based on linear-feedback shift registers to reduce the memory requirements of the proposed sparsely-connected networks. The proposed architecture can save up to 90% of memory compared to the conventional implementations of fully-connected neural networks. Moreover, implementation results show up to 84% reduction in the energy consumption of a single neuron of the proposed sparsely-connected networks compared to a single neuron of fully-connected neural networks.

연구 동기 및 목표

• 깊이 신경망(DNNs)에서 완전히 연결된 층의 높은 메모리 및 전력 소비 문제를 해결하기 위해, 기하급수적인 파라미터 수로 인해 에너지 소비가 지배적인 이유를 다룬다.
• 특히 차량 메모리와 뉴런 수준의 계산을 고려할 때, DNN 하드웨어 구현의 실리콘 면적과 에너지 소비를 줄이기 위해 노력한다.
• 추가 학습 단계가 필요 없이 효율적인 저장 및 계산을 가능하게 하는 VLSI 우수한 희소성 메커니즘을 개발한다.
• 희소 연결 네트워크가 연결 수와 메모리 프로파일을 극적으로 줄임과 동시에 정확도를 유지하거나 향상시킬 수 있음을 입증한다.

제안 방법

• 선형 피드백 시프트 레지스터(LFSRs) 기반의 확률적 노이즈 생성기(SNG)를 사용하여 완전히 연결된 층을 희소화하기 위한 무작위 연결 마스크를 생성한다.
• 마스크에 해당하는 비영인 가중치만 저장하여, 밀도 있는 가중치 행렬 대비 최대 90%까지 메모리 요구량을 감소시킨다.
• SNG가 메모리 액세스를 제어하는 하드웨어 뉴런 아키텍처를 구현한다: 활성 연결만 곱셈과 누적 연산을 유도한다.
• SNG의 카운터와 활성 신호를 사용하여 압축된 가중치 행렬을 순차적으로 액세스하며, 기존 완전히 연결된 뉴런과 동일한 지연 시간을 유지한다.
• 더 높은 메모리 폭 감소와 에너지 소비 감소를 위해 희소 연결 아키텍처를 이진화/삼진화 가중치와 통합한다.
• VHDL를 사용하여 TSMC 65 nm CMOS에서 뉴런 아키텍처를 합성하고, 다양한 희소성 수준(p = 0에서 0.9375)에서 면적, 전력, 에너지를 평가한다.

실험 결과

연구 질문

• RQ1 무작위로 희소화된 완전히 연결된 층이 정확도를 저하시키지 않으면서 DNN 하드웨어의 메모리와 에너지 소비를 줄일 수 있는가?
• RQ2 LFSR 기반의 무작위 마스크는 얼마나 많은 연결 수를 줄일 수 있으며, 이로 인해 네트워크 성능은 유지되거나 향상되는가?
• RQ3 제안된 VLSI 아키텍처는 기존 완전히 연결된 뉴런과 동일한 지연 시간을 유지하면서 면적과 에너지 절감을 어떻게 달성하는가?
• RQ4 희소 연결 네트워크가 특히 가중치 이진화와 조합되었을 때 과적합을 방지하는 정규화 효과를 가지는가?
• RQ5 이 희소성 기법을 사용할 경우 하드웨어 뉴런에서 얻을 수 있는 최대 메모리 및 에너지 절감은 얼마이며, 이는 희소성 정도에 따라 어떻게 스케일링되는가?

주요 결과

• 제안된 희소 연결 네트워크는 65 nm CMOS에서 완전히 연결된 구현 대비 단일 뉴런의 메모리 크기와 실리콘 면적을 각각 최대 90%까지 감소시켰다.
• 희소성 정도 p = 0.9375일 때 뉴런당 에너지 소비는 최대 84% 감소하였으며, 전력은 278 µW에서 43 µW로 감소하였다.
• MNIST, CIFAR10, SVHN에서, 희소 연결 네트워크는 최대 90%까지 연결 수를 줄임에도 불구하고 최신 기술 수준의 정확도를 초월하거나 유지하였다.
• 가중치 양자화와 조합했을 때, 이 방법은 보고된 바 있는 최고의 이진화 및 삼진화 네트워크보다 낮은 오분류율을 달성하였다.
• 하드웨어 아키텍처는 기존 완전히 연결된 뉴런과 동일한 지연 시간을 유지하여, 연결 수 감소에도 불구하고 성능 저하 없이 작동하였다.
• SNG 기반의 희소성 메커니즘은 비영인 가중치만 저장함으로써 차량 메모리 절감을 가능하게 하였으며, 메모리 크기는 희소성 정도 p와 반비례하게 스케일링되었다.