[논문 리뷰] DSConv: Efficient Convolution Operator

Marcelo Gennari, Roger Fawcett외 1명|arXiv (Cornell University)|2019. 01. 07.

Advanced Neural Network Applications참고 문헌 44인용 수 31

한 줄 요약

DSConv는 풀 정밀도 연산을 저비트 정수 계산으로 대체하면서 가중치와 활성화의 확률 분포를 유지하는 새로운 양자화된 컨볼루션 연산자를 도입한다. 재학습 없이 ResNet, DenseNet, GoogLeNet, AlexNet 및 VGG-Net에서 4비트 양자화를 사용해 1% 이내의 정확도 손실로 최신 기술 수준의 성능을 달성하며, 레이블이 없는 데이터를 활용한 디스틸레이션을 통해 정확도를 추가로 향상시킨다.

ABSTRACT

Quantization is a popular way of increasing the speed and lowering the memory usage of Convolution Neural Networks (CNNs). When labelled training data is available, network weights and activations have successfully been quantized down to 1-bit. The same cannot be said about the scenario when labelled training data is not available, e.g. when quantizing a pre-trained model, where current approaches show, at best, no loss of accuracy at 8-bit quantizations. We introduce DSConv, a flexible quantized convolution operator that replaces single-precision operations with their far less expensive integer counterparts, while maintaining the probability distributions over both the kernel weights and the outputs. We test our model as a plug-and-play replacement for standard convolution on most popular neural network architectures, ResNet, DenseNet, GoogLeNet, AlexNet and VGG-Net and demonstrate state-of-the-art results, with less than 1% loss of accuracy, without retraining, using only 4-bit quantization. We also show how a distillation-based adaptation stage with unlabelled data can improve results even further.

연구 동기 및 목표

• 라벨이 있는 학습 데이터에 접근할 수 없더라도 사전 학습된 CNN의 효율적이고 저비트 양자화를 가능하게 하기 위해.
• 가중치와 활성화의 확률 분포를 유지함으로써 양자화 중에도 높은 모델 정확도를 유지를 위해.
• 속도, 메모리, 정확도 간 튜닝 가능한 트레이드오프를 지원하는 표준 컨볼루션의 즉시 교체 가능한 대체 수 Mittel로 제공하기 위해.
• 풀 정밀도 가중치가 이용 가능한 경우, 레이블이 없는 데이터를 활용한 디스틸레이션을 통해 양자화 모델의 성능을 향상시키기 위해.
• 다양한 표준 아키텍처에서 4비트를 포함한 저비트 양자화에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• DSConv는 컨볼루션 커널을 동일한 크기의 저정밀도 구성요소와 고정밀도 분포 이동 구성요소(예: 커널당 하나의 FP32 값)로 분해한다.
• 메모리 효율성과 정확도 유지를 위해 블록 부동소수점 기반 접근 방식을 사용하여 가중치와 활성화를 양자화하며, 풀 정밀도 모델과 유사한 분포를 유지한다.
• 조정 가능한 블록 크기 하이퍼파라미터가 정확도와 계산 효율성 간 트레이드오프를 제어한다.
• 비용이 많이 드는 FP32 MAC 유닛을 대체하기 위해 정수 연산 또는 비트단위 연산만을 사용하는 빠른 추론을 가능하게 한다.
• 원본 사전 학습된 모델과 레이블이 없는 데이터를 활용한 디스틸레이션 기반 적응 단계를 통해 양자화된 가중치를 개선함으로써 정확도를 향상시킨다. 이 과정에서는 레이블이 필요 없다.
• 표준 컨볼루션의 즉시 교체 가능한 대체 수 Mittel로 설계되어, 구현 시 재학습이 필요 없다.

실험 결과

연구 질문

• RQ1 사전 학습된 CNN의 4비트 양자화를 재학습 없이, 레이블이 없는 데이터에 접근할 수 없이도 높은 정확도로 달성할 수 있는가?
• RQ2 저비트 양자화 중에 가중치와 활성화의 통계적 분포를 어떻게 유지할 수 있을까?
• RQ3 블록 크기 하이퍼파라미터가 양자화 추론의 정확도와 효율성 간 트레이드오프에 미치는 영향은 무엇인가?
• RQ4 레이블이 없는 데이터를 활용한 디스틸레이션은 레이블이 없는 상황에서 양자화 모델의 정확도를 추가로 향상시킬 수 있는가?
• RQ5 다양한 아키텍처에서 DSConv는 최신 기술 수준의 양자화 방법과 비교해 정확도와 효율성 측면에서 어떻게 성과를 내는가?

주요 결과

• DSConv는 재학습 없이 ResNet, DenseNet, GoogLeNet, AlexNet 및 VGG-Net에서 4비트 가중치와 활성화로 양자화할 경우 1% 이내의 정확도 손실을 기록한다.
• ImageNet에서 DSConv는 4비트 양자화로 DenseNet121에서 75.2%의 Top-1 정확도를 달성하여 LQ-Nets(74.2%) 및 DoReFa-Net(67.7%)와 같은 이전 방법들을 능가한다.
• ResNet18의 경우 5비트 가중치와 블록 크기 128를 사용할 때 76.2%의 Top-1 정확도를 기록하여 풀 정밀도 기준선인 75.0%를 초월한다.
• 2비트 양자화와 블록 크기 32를 사용할 경우, ResNet50에서 풀 정밀도 정확도의 98.5%를 유지하며 최소한의 정확도 저하를 보인다.
• 레이블이 없는 데이터를 활용한 디스틸레이션을 통해 DSConv는 4비트 양자화에서도 정확도 손실을 1% 이내로 줄여, 데이터가 적은 환경에서도 뛰어난 강건성을 입증한다.
• 양자화 시 정보 손실이 항상 정확도 손실로 이어지는 것은 아니며, 특히 1~3비트에서 재학습이 필수적임을 보여준다.