[논문 리뷰] Neural Networks with Few Multiplications

Zhouhan Lin, Matthieu Courbariaux외 2명|arXiv (Cornell University)|2015. 10. 11.

Advanced Neural Network Applications참고 문헌 15인용 수 155

한 줄 요약

이 논문은 오차 역전파 중에 가중치를 확률적으로 이元화하고 활성화를 양자화하여 딥 네ural 네트워크 학습 중 부동소수점 곱셈을 극적으로 줄이는 방법을 제안한다. 이 방법은 대부분의 곱셈 연산을 비트 시프트와 부호 변경으로 대체하여 정밀도 손실이 최소화된 채로 더 빠른 학습을 가능하게 하며, 놀랍게도 MNIST, CIFAR10, SVHN에서 일반화 성능이 향상된다.

ABSTRACT

For most deep learning algorithms training is notoriously time consuming. Since most of the computation in training neural networks is typically spent on floating point multiplications, we investigate an approach to training that eliminates the need for most of these. Our method consists of two parts: First we stochastically binarize weights to convert multiplications involved in computing hidden states to sign changes. Second, while back-propagating error derivatives, in addition to binarizing the weights, we quantize the representations at each layer to convert the remaining multiplications into binary shifts. Experimental results across 3 popular datasets (MNIST, CIFAR10, SVHN) show that this approach not only does not hurt classification performance but can result in even better performance than standard stochastic gradient descent training, paving the way to fast, hardware-friendly training of neural networks.

연구 동기 및 목표

• 딥 러닝 학습의 높은 계산 비용, 주로 부동소수점 곱셈으로 인한 비용을 해결한다.
• 전방 및 역방향 전파에서 대부분의 곱셈을 제거하여 학습 시간과 메모리 사용량을 줄인다.
• 저정밀도 계산에도 불구하고 정확도를 유지하거나 향상시키는 하드웨어 우수한 학습 방법을 개발한다.
• 확률적 가중치 이원화와 양자화된 오차 역전파의 일반화 성능에 미치는 정규화 효과를 조사한다.

제안 방법

• 전방 전파 중에 미분 가능한 샘플링 메커니즘을 사용해 정밀도가 높은 가중치를 ±1 값으로 확률적으로 이원화한다.
• 이진 연결 또는 삼항 연결을 적용하여 행렬 곱셈을 부호 변경과 비트 시프트로 변환한다.
• 오차 기울기와 활성화를 오차 역전파 중에 양자화하여 남은 곱셈 연산을 비트 시프트로 변환한다.
• 양자화된 값의 동적 범위를 제한하기 위해 비트 클리핑 메커니즘을 사용하여 메모리 및 계산 부담을 줄인다.
• 최적화를 위해 전체 정밀도 기준 가중치를 유지하며, 양자화된 기울기를 사용해 표준 오차 역전파로 업데이트한다.
• 좌우로 다른 비트 시프트를 允허하는 융통성 있는 양자화 체계를 도입하여 표현 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 가중치 이원화와 활성화 양자화를 통해 부동소수점 곱셈을 최소화하면서도 딥 네럴 네트워크를 효과적으로 학습시킬 수 있는가?
• RQ2 제안된 양자화 및 이원화 접근 방식은 표준 SGD와 비교해 모델의 일반화 성능을 유지하거나 향상시키는가?
• RQ3 양자화된 오차 역전파에서 사용하는 비트 수에 따라 모델 성능은 얼마나 민감한가?
• RQ4 확률적 가중치 이원화가 최적화 동역학과 일반화 성능에 미치는 영향은 무엇인가?
• RQ5 이 방법은 전용 하드웨어에서 효율적으로 구현 가능하여 딥 네트워크의 더 빠른 학습을 가능하게 하는가?

주요 결과

• 제안된 방법은 전방 및 역방향 전파에서 대부분의 부동소수점 곱셈을 비트 시프트와 부호 변경으로 대체하여 제거한다.
• MNIST, CIFAR10, SVHN에서 이 방법은 표준 SGD와 비교해 테스트 오차율이 유사하거나 더 낮으며, 삼항 연결과 양자화된 오차 역전파가 가장 우수한 성능을 보였다.
• 양자화에 사용되는 비트 폭 설정에 관계없이 모델 정확도가 뛰어나게 유지되며, 단지 2비트의 시프트 정밀도에서도 성능 저하가 거의 없었다.
• 확률적 가중치 샘플링으로 인한 정규화 효과로 인해 최적화기가 넓은 최소값을 찾고 일반화 성능이 향상된다.
• 삼항 가중치를 사용한 양자화된 오차 역전파가 최종 테스트 정확도 측면에서 표준 이진 연결 및 전체 정밀도 학습보다 항상 뛰어났다.
• 층 간 활성화 분포가 비대칭임을 확인하여 좌우로 다른 최대 비트 시프트를 적용하는 것이 효율성을 향상시키며 성능 저하 없이도 가능함을 입증하였다.