[논문 리뷰] Bridging the Accuracy Gap for 2-bit Quantized Neural Networks (QNN)

Jungwook Choi, Pierce Chuang외 4명|arXiv (Cornell University)|2018. 07. 17.

Advanced Neural Network Applications참고 문헌 13인용 수 38

한 줄 요약

이 논문은 아키텍처 변경 없이 전체 정밀도 모델과 동등한 정확도를 달성하는 2비트 양자화 신경망(QNNs)을 가능하게 하는 PACT(Parameterized Clipping Activation)과 SAWB(Statistics-Aware Weight Binning)을 제안한다. PACT는 학습 중에 활성화 클리핑 파라미터를 최적화하여 동적으로 양자화 범위를 조정하고, SAWB는 가중치 분포 통계를 분석하여 근사적인 스케일링 인자를 계산함으로써 근사 오차를 최소화하면서도 철저한 검색을 피한다. 이 조합은 이미지넷과 CIFAR-10에서 거의 정확도 손실가 없이 성능을 달성하며, 계산 오버헤드도 최소화한다.

ABSTRACT

Deep learning algorithms achieve high classification accuracy at the expense of significant computation cost. In order to reduce this cost, several quantization schemes have gained attention recently with some focusing on weight quantization, and others focusing on quantizing activations. This paper proposes novel techniques that target weight and activation quantizations separately resulting in an overall quantized neural network (QNN). The activation quantization technique, PArameterized Clipping acTivation (PACT), uses an activation clipping parameter $α$ that is optimized during training to find the right quantization scale. The weight quantization scheme, statistics-aware weight binning (SAWB), finds the optimal scaling factor that minimizes the quantization error based on the statistical characteristics of the distribution of weights without the need for an exhaustive search. The combination of PACT and SAWB results in a 2-bit QNN that achieves state-of-the-art classification accuracy (comparable to full precision networks) across a range of popular models and datasets.

연구 동기 및 목표

• 모델 크기를 늘리지 않고 2비트 양자화 신경망(QNNs)의 정확도 격차를 해소하기 위해.
• 학습 중에 적응 가능한 활성화 양자화 방법을 개발하여 모델 정확도를 유지하기 위해.
• 통계적 가중치 분포 분석을 활용해 효율적인 최적 스케일링 인자를 찾는 가중치 양자화 기법을 설계하기 위해.
• 다양한 모델과 데이터셋에서 2비트 QNN의 최고 수준의 분류 정확도를 달성하고, 전체 정밀도 네트워크와 유사한 성능을 내기 위해.
• 네트워크 폭이나 깊이를 늘리지 않고도 고정밀도 양자화가 가능한지를 입증하기 위해.

제안 방법

• PACT는 백프로파게이션 중 최적화되는 학습 가능한 활성화 클리핑 파라미터 α를 도입하여 활성화의 양자화 범위를 동적으로 조정한다.
• SAWB는 가중치 분포의 통계적 분석을 통해 가중치 양자화의 최적 스케일링 인자를 계산함으로써 근사 오차를 최소화하면서도 철저한 검색을 피한다.
• 이 방법은 활성화에 PACT, 가중치에 SAWB를 별도로 적용하여 정확도 손실 최소화로 끝에서 끝까지 2비트 QNN 학습을 가능하게 한다.
• 네트워크 확장이나 전체 정밀도 레이어를 재학습하는 것 없이도 계산 오버헤드를 O(n) 수준으로 유지한다.
• PACT와 SAWB는 통합된 QNN 학습 파이프라인에 통합되어 양자화 파라미터의 공동 최적화를 가능하게 한다.
• 표준 벤치마크인 AlexNet, ResNet-20 및 이미지넷에서 평가되었으며, 채널 확장에 대한 분석 연구도 수행되었다.

실험 결과

연구 질문

• RQ1 아키텍처 수정 없이 2비트 양자화 신경망이 전체 정밀도 모델과 유사한 분류 정확도를 달성할 수 있는가?
• RQ2 학습 중에 활성화 양자화를 어떻게 적응적으로 조정하여 정확도 저하를 최소화할 수 있는가?
• RQ3 비교적 비효율적인 검색 기반 또는 히우리스틱 기반 방법보다 효율적인 스케일링 인자 선택 기법이 기존 방법을 능가할 수 있는가?
• RQ4 강력한 활성화 및 가중치 양자화 기법을 조합하면 다양한 모델과 데이터셋에서 2비트 정밀도로도 정밀도를 유지할 수 있는가?
• RQ5 모델 정확도를 네트워크 폭이나 파rameter 수를 늘리지 않고 얼마나 유지할 수 있는가?

주요 결과

• 제안된 PACT+SAWB 2비트 QNN는 전체 정밀도 기준선과 비교해 AlexNet에서 정확도 손실이 없으며, 이는 이전 방법들을 능가한다.
• CIFAR-10에서 2비트 QNN는 상위-1 정확도 손실이 1% 미만으로 나타나 다양한 모델에 대한 강력한 일반화 성능을 보였다.
• 이미지넷에서 이 방법은 기존 문헌에 보고된 모든 2비트 양자화 기법 중에서 가장 높은 분류 정확도를 달성했다.
• 이 방법은 모델 크기를 늘리지 않아도 전체 정밀도 정확도를 유지하며, WRPN-2x처럼 정확도 복구를 위해 2배 넓은 네트워크가 필요한 것과는 대조된다.
• 채널 확장과 결합했을 때 PACT+SAWB는 단지 1.25배의 채널 확장으로 전체 정밀도 정확도를 달성했으며, DoReFa가 요구하는 2배보다 훨씬 낮은 확장 비율을 기록했다.
• 에너지 효율성도 유지된다: WRPN-2x는 MAC 연산 수가 4배 증가해 에너지 절감 효과가 4배 감소하지만, PACT+SAWB는 이러한 상충관계 없이 높은 효율성을 유지한다.