[논문 리뷰] SinReQ: Generalized Sinusoidal Regularization for Low-Bitwidth Deep Quantized Training

Ahmed T. Elthakeb, Prannoy Pilligundla외 1명|arXiv (Cornell University)|2019. 05. 04.

Advanced Neural Network Applications참고 문헌 31인용 수 5

한 줄 요약

이 논문은 딥 네ural 네트워크의 가중치가 훈련 중에 양자화 수준으로 유도되도록 하는 미분 가능한 사인 함수 정규화 기법인 SinReQ를 제안한다. 이는 저비트폭(3–5비트) 양자화 네트워크에서 정확도를 향상시킨다. 손실 함수에 주기적인 정규화 항을 추가함으로써 SinReQ는 DoReFa 및 WRPN 양자화 훈련 모두를 향상시키며, 각각 전체 정밀도 모델과의 정확도 격차를 평균 32.4%와 27.5% 감소시킨다.

ABSTRACT

Deep quantization of neural networks (below eight bits) offers significant promise in reducing their compute and storage cost. Albeit alluring, without special techniques for training and optimization, deep quantization results in significant accuracy loss. To further mitigate this loss, we propose a novel sinusoidal regularization, called SinReQ1, for deep quantized training. SinReQ adds a periodic term to the original objective function of the underlying training algorithm. SinReQ exploits the periodicity, differentiability, and the desired convexity profile in sinusoidal functions to automatically propel weights towards values that are inherently closer to quantization levels. Since, this technique does not require invasive changes to the training procedure, SinReQ can harmoniously enhance quantized training algorithms. SinReQ offers generality and flexibility as it is not limited to a certain bitwidth or a uniform assignment of bitwidths across layers. We carry out experimentation using the AlexNet, CIFAR-10, ResNet-18, ResNet-20, SVHN, and VGG-11 DNNs with three to five bits for quantization and show the versatility of SinReQ in enhancing multiple quantized training algorithms, DoReFa [32] and WRPN [24]. Averaging across all the bit configurations shows that SinReQ closes the accuracy gap between these two techniques and the full-precision runs by 32.4% and 27.5%, respectively. That is improving the absolute accuracy of DoReFa and WRPN by 2.8% and 2.1%, respectively.

연구 동기 및 목표

• 저비트폭(3–5비트)으로 양자화할 경우 딥 네럴 네트워크에서 발생하는 심각한 정확도 저하 문제를 해결한다. 특히 8비트 이하에서 두드러지는 정확도 손실에 초점을 맞춘다.
• 기존의 양자화 훈련 방법이 여전히 최적의 가중치 분포가 아니어서 발생하는 잔여 정확도 손실 문제를 해결한다.
• 기존의 양자화 훈련 프레임워크에 영향을 주지 않고도 널리 적용 가능한 비침습적 정규화 기법을 개발한다. 이는 네트워크 아키텍처나 최적화 절차를 변경하지 않아도 된다.
• 각 레이어의 목표 비트폭에 맞게 사인 함수 정규화의 주기를 조절하여 레이어 간 이질적인 비트폭 할당을 유연하게 가능하게 한다.
• 훈련에서부터 시작하는 경우와 파라미터 미세조정을 통한 경우 모두에서 적응형 정규화 강도를 통해 정확도를 향상시킨다.

제안 방법

• 표준 훈련 손실 함수에, 목표 비트폭의 이산적 양자화 수준과 일치하는 최소값을 가진, 미분 가능한 사인 함수 정규화 항을 도입한다.
• 정규화 항은 $ \lambda_q \cdot \sin^2(\pi w / \Delta) $ 로 정의되며, 여기서 $ \Delta $ 는 양자화 수준 간격이고 $ \lambda_q $ 는 정규화 강도를 제어한다.
• 사인 함수의 주기성과 미분 가능성 특성을 활용하여 backpropagation 과정에서 가중치 값이 가장 가까운 양자화 수준으로 자연스럽게 유도되도록 한다.
• 모든 레이어에 동일하게 적용하거나, 각 레이어의 목표 비트폭에 맞게 주기 $ \Delta $ 를 조절하여 레이어별로 적응적으로 적용한다.
• $ \lambda_q $ 에 대해 동적 스케줄링을 적용하여 초기에는 작은 값을 사용하고 시간이 지남에 따라 점차 증가시켜, 초기 탐색을 허용하고 나서 양자화에 유리한 값으로 수렴하도록 한다.
• 기본 훈련 절차나 네트워크 구조를 변경하지 않고도 DoReFa 및 WRPN과 같은 기존의 양자화 훈련 알고리즘에 SinReQ를 통합한다.

실험 결과

연구 질문

• RQ1 미분 가능하고 주기적인 정규화 항이 훈련 중에 네트워크 가중치를 양자화 수준으로 효과적으로 유도하여, 양자화 후 정확도 손실을 줄일 수 있는가?
• RQ2 SinReQ는 저비트폭 양자화(3–5비트) 조건에서 다양한 네트워크 아키텍처(예: AlexNet, ResNet, VGG)와 데이터셋(CIFAR-10, SVHN)에서 어떻게 성능을 발휘하는가?
• RQ3 SinReQ는 훈련에서부터 시작하는 경우와 파라미터 미세조정을 통한 경우 모두에서 얼마나 효과적으로 성능을 향상시킬 수 있는가?
• RQ4 레이어 간 이질적인 비트폭 할당에 적용했을 때 SinReQ는 호환성과 효과성을 유지하는가?
• RQ5 정규화 강도 $ \lambda_q $ 의 동적 스케줄링 방식이 일정한 설정 대비 수렴 속도와 최종 정확도에 어떤 영향을 미치는가?

주요 결과

• SinReQ는 모든 테스트 비트 구성에서 DoReFa의 경우 전체 정밀도 모델과의 평균 정확도 격차를 32.4% 감소시키고, WRPN의 경우 27.5% 감소시킨다.
• 기본 버전 대비 DoReFa와 WRPN의 절대 Top-1 정확도를 각각 2.8%, 2.1% 향상시킨다.
• 동적 $ \lambda_q $ 를 사용해 훈련에서부터 시작할 경우, SinReQ는 전체 정밀도 모델과의 정확도 격차를 평균 40.2% 감소시켜, 모든 경우에서 기본 버전을 능가한다.
• 정규화 강도 $ \lambda_q $ 의 동적 스케줄링은 가중치가 초기화 상태 근처에 갇히는 것을 방지하여, 효과적인 탐색 이후에 양자화에 유리한 값으로 수렴하도록 한다.
• SinReQ는 ResNet-18, VGG-11, CIFAR-10 등 다양한 아키텍처에서 일관된 성능을 유지하며, 강력한 일반화 능력과 유연성을 보여준다.
• 훈련에서부터 시작하는 경우와 파라미터 미세조정을 통한 경우 모두에서 효과적이며, 다양한 훈련 환경에 대해 강건하고 적응력 있는 성능을 보인다.