[논문 리뷰] On Periodic Functions as Regularizers for Quantization of Neural Networks

Maxim Naumov, Utku Diril외 4명|arXiv (Cornell University)|2018. 11. 24.

Neural Networks and Applications참고 문헌 31인용 수 14

한 줄 요약

이 논문은 신경망의 양자화를 위한 새로운 방법을 제안하며, 훈련 중에 정현,余弦, 히트 함수와 같은 주기적 함수를 정규화 요소로 사용하여 가중치가 이산 정수 값으로 수렴하도록 유도한다. 이 함수들의 진폭과 주기를 시간에 따라 조절함으로써, CIFAR-10과 ImageNet에서 전체 정밀도 모델과 거의 동일한 정확도를 유지하는 8비트 양자화 모델을 구현할 수 있다.

ABSTRACT

Deep learning models have been successfully used in computer vision and many other fields. We propose an unorthodox algorithm for performing quantization of the model parameters. In contrast with popular quantization schemes based on thresholds, we use a novel technique based on periodic functions, such as continuous trigonometric sine or cosine as well as non-continuous hat functions. We apply these functions component-wise and add the sum over the model parameters as a regularizer to the model loss during training. The frequency and amplitude hyper-parameters of these functions can be adjusted during training. The regularization pushes the weights into discrete points that can be encoded as integers. We show that using this technique the resulting quantized models exhibit the same accuracy as the original ones on CIFAR-10 and ImageNet datasets.

연구 동기 및 목표

• 자원이 제한된 엣지 디바이스에 깊은 신경망을 구현하는 데 도전하는 문제를 해결하기 위해, 양자화를 통해 모델 크기와 추론 비용을 줄이는 것.
• 고정 임계값에 의존하는 전통적 양자화 방법의 한계를 극복하여 가중치 분포를 왜곡하거나 정확도를 떨어뜨리는 것을 방지하는 것.
• 주기적 함수가 훈련 중에 네트워크 가중치를 이산적인, 양자화 가능한 값으로 유도하는 효과적인 정규화 요소로 기능할 수 있는지 탐색하는 것.
• 진폭 스케줄링을 통한 주기적 정규화가 특수한 계층별 또는 에포크별 훈련 전략 없이도 높은 정확도의 8비트 양자화를 가능하게 하는지 입증하는 것.

제안 방법

• 모델 가중치에 대해 주기적 함수(예: 사인,余弦, 히트 함수 등)를 요소별로 적용하는 정규화 요소를 도입한다.
• 이 정규화 요소는 손실 함수에 모든 가중치에 대해 합산된 형태로 추가된다: $ \sum_i \text{periodic}(w_i) $, 주기적 함수의 주기와 진폭을 조정 가능하다.
• 진폭은 훈련 에포크에 따라 점진적으로 증가하도록 스케줄링된다(예: $10^{-4}$ 에서 $10^{-1}$ 로). 이는 정규화 강도를 효과적으로 조절한다.
• 주기적 함수는 최소값과 최대값이 원하는 양자화 수준과 일치하도록 설계되어, 가중치가 이산 정수 값으로 유도되도록 한다.
• 훈련 후, 대칭 균일 양자화를 사용하여 모델을 양자화한다: $ Q(w) = \gamma \cdot \text{round}(w / \gamma) $, 여기서 $ \gamma = c / (2^{t-1} - 1) $ 이며, $ c $ 는 절댓값이 가장 큰 가중치이다.
• 이 방법은 양자화 후 재훈련이나 보정이 필요 없으며, 표준 양자화 파ipeline과 호환된다.

실험 결과

연구 질문

• RQ1 주기적 함수가 훈련 중에 신경망 가중치를 이산적이고 양자화 가능한 값으로 유도하는 데 효과적인 정규화 요소로 기능할 수 있는가?
• RQ2 진폭 스케줄링을 통한 주기적 정규화가 표준 벤치마크에서 정확도 저하 없이 높은 정확도의 8비트 양자화를 가능하게 하는가?
• RQ3 다양한 비트 폭에서 표준 양자화 방법과 비교해 볼 때, 주기적 함수 정규화의 정확도와 내성에 대한 성능는 어떠한가?
• RQ4 이 방법은 ResNet-20을 CIFAR-10에서, ResNet-50을 ImageNet에서 사용한 다양한 네트워크 아키텍처와 데이터셋으로 일반화 가능한가?
• RQ5 주기적 함수의 선택(예: 사인 vs. 히트)이 성능에 결정적인 영향을 미치는가, 아니면 유사한 성능를 낼 수 있는가?

주요 결과

• 사인 기반 정규화를 사용한 8비트 양자화에서 ImageNet에서 테스트 오차가 1.29% Top1을 기록하여 원본 모델의 75.84% Top1 오차와 거의 동일하다.
• CIFAR-10에서 동적 진폭 스케줄링을 사용할 경우 2비트 양자화로도 테스트 오차가 10.20%에 그치며, 정적 진폭 또는 기준 방법보다 뚜렷이 뛰어난 성능를 보인다.
• CIFAR-10에서 8비트 양자화 시 동적 진폭 스케줄링을 사용한 경우 테스트 오차는 16.66%이며, 고정 진폭일 경우 29.26%에 그치므로 적응형 스케줄링의 유용성을 입증한다.
• ImageNet에서 사인 함수와 히트 함수 모두 유사한 성능를 보이며, Top1 오차는 각각 75.57%와 75.77%로 유사하여 함수 선택이 성능에 결정적인 영향을 미치지 않는다는 것을 시사한다.
• 다양한 비트 폭에서 높은 정확도를 유지하며, 8비트 이하로 떨어지면 명확한 성능 저하가 발생함을 확인하여, 이 방법의 실용적인 하한은 8비트임을 시사한다.
• 정규화 후 보정 없이도 전체 정밀도 모델과 거의 동일한 정확도를 달성하며, 초기/후기 계층에 특수한 훈련 절차가 필요하지 않다.