[논문 리뷰] ShiftAddNet: A Hardware-Inspired Deep Network

Haoran You, Xiaohan Chen외 6명|arXiv (Cornell University)|2020. 10. 24.

Advanced Neural Network Applications참고 문헌 47인용 수 37

한 줄 요약

ShiftAddNet은 곱셈을 대체하기 위해 비트 시프트와 덧셈 계층만 사용하여 DNN을 재정의하고, 표준 네트워크와 비슷한 정확도에 대해 에너지 효율적인 학습 및 추론을 가능하게 한다. FPGA 기반 측정은 성능을 유지하면서 에너지 절감이 크게 있음을 보여준다.

ABSTRACT

Multiplication (e.g., convolution) is arguably a cornerstone of modern deep neural networks (DNNs). However, intensive multiplications cause expensive resource costs that challenge DNNs' deployment on resource-constrained edge devices, driving several attempts for multiplication-less deep networks. This paper presented ShiftAddNet, whose main inspiration is drawn from a common practice in energy-efficient hardware implementation, that is, multiplication can be instead performed with additions and logical bit-shifts. We leverage this idea to explicitly parameterize deep networks in this way, yielding a new type of deep network that involves only bit-shift and additive weight layers. This hardware-inspired ShiftAddNet immediately leads to both energy-efficient inference and training, without compromising the expressive capacity compared to standard DNNs. The two complementary operation types (bit-shift and add) additionally enable finer-grained control of the model's learning capacity, leading to more flexible trade-off between accuracy and (training) efficiency, as well as improved robustness to quantization and pruning. We conduct extensive experiments and ablation studies, all backed up by our FPGA-based ShiftAddNet implementation and energy measurements. Compared to existing DNNs or other multiplication-less models, ShiftAddNet aggressively reduces over 80% hardware-quantified energy cost of DNNs training and inference, while offering comparable or better accuracies. Codes and pre-trained models are available at https://github.com/RICE-EIC/ShiftAddNet.

연구 동기 및 목표

• 하드웨어 설계 원리(시프트와 덧셈)에 따른 곱셈 없는 심층 네트워크를 제시하여 에너지 소비를 줄인다.
• 표현력을 유지하고 표준 DNN처럼 학습 가능한 두 계층 패러다임(비트 시프트와 덧셈)을 개발한다.
• ShiftAddNet의 학습 및 추론 알고리즘을 실제 하드웨어 구현 및 에너지 측정과 함께 입증한다.
• 정밀도 감소 및 가지치기에서의 정확도와 학습 효율성 간의 트레이드 오프를 정량화한다.

제안 방법

• 합성곱(convolution) 및 완전연결층을 비트 시프트 및 덧셈의 두 곱셈 없는 계층으로 대체하여 표준 신경망을 재매개변수화한다.
• 시프트와 덧셈 연산을 결합하는 ShiftAddNet 파이프라인을 형식화하여 표현 용량을 보존한다.
• 시프트 및 덧셈 계층의 역전파 규칙을 도출하고 가중치 업데이트와 그래디언트 흐름을 포함한다.
• 고정 시프트 계층을 활용한 변형을 제안하여 거칠고 세밀한 학습 및 에너지 절감을 탐구한다.
• Zynq FPGA에서 ShiftAddNet을 구현하고 AdderNet, DeepShift, ConvNet과 비교하여 에너지 소비와 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 비트 시프트와 덧셈 계층의 하드웨어에서 영감을 받은 조합이 표준 DNN의 표현력을 크게 유지하면서 곱셈을 크게 줄일 수 있는가?
• RQ2 시프트와 애드 계층은 양자화나 가지치기에서의 정확도와 학습/추론 에너지에 어떤 trade-off를 보이는가?
• RQ3 시프트 계층을 고정하거나 덧셈 계층을 희소화하면 에너지 효율이 개선되면서도 정확도가 유지되는가?
• RQ4 실제 하드웨어(FPGA)에 ShiftAddNet을 배치할 때 기존의 곱셈 없는 모델에 비해 실질적 이점은 무엇인가?

주요 결과

• ShiftAddNet은 곱셈 기반 네트워크 및 기존의 곱셈 없는 모델에 비해 동등하거나 더 나은 정확도로 에너지 효율적인 추론 및 학습을 달성한다.
• 고정 시프트 계층은 정확도를 희생하지 않으면서도 상당한 에너지 절감을 제공하며 일부 설정에서 양자화에 대한 강건성을 개선할 수 있다.
• ShiftAddNet은 AdderNet 및 DeepShift에 비해 여러 벤치마크에서 양자화 및 가지치기에 대한 강건성이 향상된다.
• FPGA 구현은 학습 및 추론의 에너지 비용을 크게 줄이는 실측치를 제공하며 성능을 유지한다.
• 하이브리드 시프트-앗 디자인은 시프트만 또는 덧셈만 접근법보다 더 높은 표현 용량을 제공한다.