[논문 리뷰] Learning Accurate Low-Bit Deep Neural Networks with Stochastic Quantization

Yinpeng Dong, Renkun Ni외 4명|arXiv (Cornell University)|2017. 08. 03.

Advanced Neural Network Applications참고 문헌 21인용 수 26

한 줄 요약

이 논문은 정량화 오차를 기반으로 하위 집합의 네트워크 가중치를 낮은 비트 표현으로 확률적으로 정량화하는 훈련 방법인 Stochastic Quantization(SQ)을 제안한다. 나머지 가중치는 전체 정밀도를 유지한다. 점진적으로 정량화 비율을 증가시키고 오차 정보를 반영한 선택 전략을 사용함으로써, SQ는 기울기 오류를 줄이고, 일부 경우에서는 전체 정밀도 모델를 초월하는 저비트 DNN에서 최신 기술 성능을 달성한다.

ABSTRACT

Low-bit deep neural networks (DNNs) become critical for embedded applications due to their low storage requirement and computing efficiency. However, they suffer much from the non-negligible accuracy drop. This paper proposes the stochastic quantization (SQ) algorithm for learning accurate low-bit DNNs. The motivation is due to the following observation. Existing training algorithms approximate the real-valued elements/filters with low-bit representation all together in each iteration. The quantization errors may be small for some elements/filters, while are remarkable for others, which lead to inappropriate gradient direction during training, and thus bring notable accuracy drop. Instead, SQ quantizes a portion of elements/filters to low-bit with a stochastic probability inversely proportional to the quantization error, while keeping the other portion unchanged with full-precision. The quantized and full-precision portions are updated with corresponding gradients separately in each iteration. The SQ ratio is gradually increased until the whole network is quantized. This procedure can greatly compensate the quantization error and thus yield better accuracy for low-bit DNNs. Experiments show that SQ can consistently and significantly improve the accuracy for different low-bit DNNs on various datasets and various network structures.

연구 동기 및 목표

• 일관되지 않은 정량화 오차로 인한 저비트 딥 네트워크(DNN)의 정확도 저하 문제를 해결하기 위해.
• 모든 가중치를 각 훈련 반복마다 전체 정량화하지 않음으로써 훈련 안정성과 수렴성을 향상시키기 위해.
• 높은 오차를 가진 가중치는 전체 정밀도 기울기를 유지하면서, 낮은 오차를 가진 가중치는 점진적으로 정량화하는 방법을 개발하기 위해.
• 다양한 아키텍처와 데이터셋에서 저비트 DNN에서 최신 기술 성능을 달성하기 위해.
• 확률적이고 오차 인지 정량화가 균일 정량화보다 더 우수한 국소 최소값을 도출할 수 있음을 보여주기 위해.

제안 방법

• Stochastic Quantization(SQ)는 각 훈련 반복에서 정량화 오차를 기반으로 하위 집합의 네트워크 가중치를 저비트 정량화하기 위한 선택 기반으로 작동한다.
• 선택 확률은 정량화 오차에 반비례하여 설정되며, 이는 높은 오차를 가진 가중치가 초기에 정량화될 가능성이 낮다는 것을 보장한다.
• 정량화된 가중치는 정량화 경로에서 기인한 기울기를 사용해 업데이트되며, 전체 정밀도 가중치는 전체 정밀도 경로에서 기인한 기울기를 사용한다.
• SQ 비율은 훈련 전반에 걸쳐 0%에서 100%로 점진적으로 증가하며, 이는 전체 저비트 추론으로의 매끄러운 전환을 가능하게 한다.
• 이 방법은 채널 단위 선택 해상도를 사용하며, 전체 필터-채널을 선택 및 정량화 단위로 취급한다.
• 증가하는 SQ 비율을 스케줄링하기 위해 지수적 방식을 사용하며, 이는 선형 또는 평균 방식보다 경험적으로 더 우수한 성능을 보였다.

실험 결과

연구 질문

• RQ1 확률적이고 오차 인지 정량화는 저비트 DNN의 훈련 안정성과 최종 정확도를 향상시킬 수 있는가?
• RQ2 초기 훈련 단계에서 높은 정확도를 가진 가중치만 정량화하는 것이 전체 정량화보다 더 나은 수렴을 이끌 수 있는가?
• RQ3 선택 해상도(원소 단위 대비 채널 단위)는 저비트 DNN의 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 저비트 환경에서 전체 정밀도 모델과 비교해 정확도가 유사하거나 이를 초월할 수 있는가?
• RQ5 훈련 중 정량화 비율을 증가시키는 최적의 스케줄링은 무엇인가?

주요 결과

• CIFAR-10에서 ResNet-56에 대해 SQ-BWN은 1비트 가중치로 표준 BWN 대비 테스트 오차를 9.27% 감소시켰다.
• CIFAR-10에서 ResNet-56에 대해 SQ-TWN은 2비트 가중치로 35.25%의 테스트 오차를 기록했으며, 전체 정밀도 모델의 35.01%를 초월했다.
• ImageNet에서 SQ-TWN은 ResNet-18에서 상위-1 정확도 36.18%를 달성했으며, 전체 정밀도 모델의 34.80%를 초월했다.
• 테스트 손실 곡선을 보면, SQ-BWN과 SQ-TWN는 각각 BWN과 TWN보다 더 안정적으로 수렴하고 더 낮은 손실을 기록했다.
• CIFAR-10에서 VGG-9, CIFAR-10에서 ResNet-56, CIFAR-100에서 ResNet-56에 대해 SQ-TWN은 전체 정밀도 모델보다 각각 0.63%, 0.49%, 0.59% 더 높은 정확도를 기록했다.
• 모든 평가 설정에서 지수적 SQ 비율 스케줄링이 선형 및 평균 스케줄링보다 더 뛰어난 성능을 보였다.