[논문 리뷰] Generalized Ternary Connect: End-to-End Learning and Compression of Multiplication-Free Deep Neural Networks

Samyak Parajuli, Aswin Raghavan외 1명|arXiv (Cornell University)|2018. 11. 12.

Advanced Neural Network Applications참고 문헌 24인용 수 4

한 줄 요약

이 논문은 딥 네URAL 네트워크를 위한 곱셈 없는 추론을 가능하게 하는 엔드 투 엔드 미분 가능한 방법인 일반화된 삼항 연결(GTC)을 제안한다. GTC는 양자화 수준의 수와 그 값(2의 정수 거듭제곱)을 함께 학습하며, 비트 시프트를 통한 곱셈 없는 추론을 가능하게 한다. GTC는 MNIST 및 CIFAR-10에서 최신 기술 수준의 압축 성능을 달성하면서 정확도 손실가 최소화되며, FPGA 및 라즈베리 파이 시뮬레이션을 통해 하드웨어 효율성도 입증한다. 또한 정규화 비용을 점진적으로 낮추는 방식으로 새로운 최적화 기법으로서의 가능성을 보여준다.

ABSTRACT

The use of deep neural networks in edge computing devices hinges on the balance between accuracy and complexity of computations. Ternary Connect (TC) \cite{lin2015neural} addresses this issue by restricting the parameters to three levels $-1, 0$, and $+1$, thus eliminating multiplications in the forward pass of the network during prediction. We propose Generalized Ternary Connect (GTC), which allows an arbitrary number of levels while at the same time eliminating multiplications by restricting the parameters to integer powers of two. The primary contribution is that GTC learns the number of levels and their values for each layer, jointly with the weights of the network in an end-to-end fashion. Experiments on MNIST and CIFAR-10 show that GTC naturally converges to an `almost binary' network for deep classification networks (e.g. VGG-16) and deep variational auto-encoders, with negligible loss of classification accuracy and comparable visual quality of generated samples respectively. We demonstrate superior compression and similar accuracy of GTC in comparison to several state-of-the-art methods for neural network compression. We conclude with simulations showing the potential benefits of GTC in hardware.

연구 동기 및 목표

• 엣지 디바이스에 딥 네URAL 네트워크를 구현할 때 발생하는 높은 계산 복잡도 문제를 해결하기 위해 추론 중 곱셈을 제거하는 것.
• 삼항 연결을 일반화하여 임의의 수의 양자화 수준을 허용하면서도 정수 거듭제곱으로 제한함으로써 효율적인 비트 시프트 연산을 가능하게 하는 것.
• 모델 가중치와 함께 양자화 수준의 수와 값이 동시에 엔드 투 엔드로 학습되도록 하여 정확도와 모델 압축을 동시에 최적화하는 것.
• FPGA 및 라즈베리 파이 시뮬레이션을 통해 하드웨어 효율성 향상을 입증하는 것.
• 정규화 비용을 점진적으로 낮추는 방식으로 GTC를 새로운 최적화 기법으로 탐색하여 학습 수렴성을 향상시키는 것.

제안 방법

• GTC는 네트워크 가중치를 집합 {0} ∪ {±2^k | k ∈ ℤ} 내의 값으로 양자화하여 비트 시프트를 통한 곱셈 없는 추론을 가능하게 한다.
• 이 방법은 양자화 함수를 매개변수화하기 위해 학습 가능한 파라미터를 도입하여 하이퍼볼릭 또는 시그모이드 유사한 형태의 유연한 매핑을 가능하게 한다.
• 학습 가능한 온도 및 스케일링 파라미터를 사용하여 미분 가능한 양자화 함수를 정의함으로써 양자화 과정을 통해 역전파가 가능하게 한다.
• 손실 함수에는 네트워크 동작을 유지하기 위한 디스틸레이션 항(λ₁)과 사용되는 비트 수를 제어하기 위한 비트 비용 페널티(λ₂)가 포함된다.
• 각 가중치의 비트 수는 학습된 양자화 분포의 기대 엔트로피로 계산되며, 이는 정확도와 압축률을 동시에 엔드 투 엔드로 최적화하는 데 기여한다.
• GTC의 변종은 정규화 비용을 학습 과정 중에 점차 낮추는 방식으로 최적화 기법으로 사용되며, 초기에는 고밀도 스파arsity를 허용하고 점차 정밀도를 높인다.

실험 결과

연구 질문

• RQ1 딥 네URAL 네트워크를 엔드 투 엔드로 학습하여 양자화 수준의 수와 그 값(2의 정수 거듭제곱)을 함께 학습할 수 있는가?
• RQ2 제안된 방법은 최신 기술 수준의 압축 기법과 비교해 정확도 손실가 최소화되면서도 높은 모델 압축을 달성하는가?
• RQ3 학습된 양자화 방식이 하드웨어에 효율적으로 매핑되어 전력 소모와 지연 시간을 측정 가능한 정도로 감소시키는가?
• RQ4 GTC는 경쟁적인 최적화 기법으로서 표준 SGD보다 학습 수렴성과 최종 정확도에서 뛰어나게 작용하는가?
• RQ5 다양한 정규화 설정 하에서 모델 정밀도(비트 수)와 정확도 사이의 트레이드오프는 어떻게 변화하는가?

주요 결과

• CIFAR-10의 VGG-16에서 GTC는 평균 2비트/가중치로 98.8%의 테스트 정확도를 달성하였으며, 이는 정밀도가 전체인 모델의 정확도와 동일하다.
• MNIST에서 λ₂ = 0일 경우 GTC는 평균 5.25비트/가중치로 99.3%의 정확도를 달성하였고, λ₂ = 10⁻³일 경우 2비트로 감소하여 95.0%의 정확도를 기록하였다.
• FPGA 시뮬레이션 결과, 연산 당 전력 소모가 49mW(곱셈)에서 10mW(비트 시프트)로 79.6% 감소하였다.
• 라즈베리 파이 시뮬레이션 결과, 곱셈을 비트 시프트로 대체함으로써 연산 당 지연 시간이 93ns에서 67ns로 28% 감소하였다.
• λ₂를 점차 낮추는 GTC의 변종은 표준 SGD와 고정된 λ₂를 사용하는 GTC 변종을 모두 압도하였으며, 40,000 반복 이내에 32비트 기준 모델을 능가하는 학습 정확도를 기록하였다.
• GTC는 깊은 구조에서 자연스럽게 '거의 이진' 네트워크 아키텍처로 수렴하는 경향을 보였으며, 이는 학습 과정에서 저정밀도 표현에 대한 내재된 선호도를 시사한다.