[논문 리뷰] FAT: Learning Low-Bitwidth Parametric Representation via Frequency-Aware Transformation

Chaofan Tao, Rui Lin외 4명|arXiv (Cornell University)|2021. 02. 15.

Anomaly Detection Techniques and Applications참고 문헌 32인용 수 4

한 줄 요약

이 논문은 저비트 폭의 CNN 훈련을 향상시키기 위해 양자화 이전에 네트워크 가중치의 주파수 도메인 변환을 학습하는 새로운 양자화 프레임워크인 주파수 인식 변환(Frequency-Aware Transformation, FAT)을 제안한다. 冗여한 고주파 성분을 억제하고 정보가 풍부한 저주파 성분을 유지함으로써, FAT는 단순한 균일 양자화기로도 최신 기술 수준의 정확도를 달성한다 — 4비트 ResNet-18에 대해 ImageNet에서 70.5%의 Top-1 정확도와 4비트 MobileNet-V2에 대해 69.2%를 기록하며, 전체 정밀도 모델 대비 최대 54.9배의 계산량 감소를 이룬다.

ABSTRACT

Learning convolutional neural networks (CNNs) with low bitwidth is challenging because performance may drop significantly after quantization. Prior arts often discretize the network weights by carefully tuning hyper-parameters of quantization (e.g. non-uniform stepsize and layer-wise bitwidths), which are complicated and sub-optimal because the full-precision and low-precision models have a large discrepancy. This work presents a novel quantization pipeline, Frequency-Aware Transformation (FAT), which has several appealing benefits. (1) Rather than designing complicated quantizers like existing works, FAT learns to transform network weights in the frequency domain before quantization, making them more amenable to training in low bitwidth. (2) With FAT, CNNs can be easily trained in low precision using simple standard quantizers without tedious hyper-parameter tuning. Theoretical analysis shows that FAT improves both uniform and non-uniform quantizers. (3) FAT can be easily plugged into many CNN architectures. When training ResNet-18 and MobileNet-V2 in 4 bits, FAT plus a simple rounding operation already achieves 70.5% and 69.2% top-1 accuracy on ImageNet without bells and whistles, outperforming recent state-of-the-art by reducing 54.9X and 45.7X computations against full-precision models. We hope FAT provides a novel perspective for model quantization. Code is available at \url{https://github.com/ChaofanTao/FAT_Quantization}.

연구 동기 및 목표

• 전체 정밀도 모델과 저비트 모델 간의 큰 용량 격차로 인한 저비트 폭 CNN 양자화에서의 성능 저하 문제를 해결한다.
• 복잡한 하이퍼파ram터 튜닝이 필요하고 이산 가중치 공간에서 기울기 소실 문제가 발생하는 복잡한 양자화기의 한계를 극복한다.
• 특수 하드웨어나 복잡한 양자화 기법이 필요로 하지 않도록, 표준 양자화기가 효과적으로 작동할 수 있도록 학습된 표현 변환을 통해 이를 가능하게 한다.
• 가중치의 전체 주파수 도메인 분석을 통한 뉴런 간 상관관계를 활용하여, 저비트 설정에서의 훈련 안정성과 성능을 향상시킨다.

제안 방법

• 두 단계 양자화 파이프라인 제안: 먼저 전체 정밀도 가중치에 대해 학습 가능한 주파수 도메인 변환 T(·)를 적용하고, 그 다음으로 표준 양자화기 Q(·)를 적용한다.
• 공간 도메인 가중치를 주파수 도메인으로 매핑하기 위해 이산 푸리에 변환(DFT)을 사용하여 가중치 상관관계의 통합적 분석을 가능하게 한다.
• 주파수 스펙트럼에 소프트 마스크를 도입하여 중요한 주파수 성분을 선택적으로 유지하고 노이즈와 유사한 고주파 성분을 억제한다.
• 백프로파게이션을 통해 엔드 투 엔드로 변환을 훈련하며, 이산화에도 불구하고 기울기가 변환의 미분 가능성을 통해 명시적으로 제어되어 효과적인 학습이 가능하다.
• 변환 이후에 균일 양자화기를 사용하여 복합적인 혼합 정밀도 또는 적응형 양자화 전략을 피한다.
• 추론 시에는 변환을 제거하고 단지 표준 양자화기만 남겨, 일반 목적 하드웨어와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 학습된 주파수 도메인 변환은 저비트 폭 CNN 훈련에서 단순한 양자화기의 성능 향상에 기여하는가?
• RQ2 가중치를 주파수 도메인에서 변환함으로써 양자화 오차는 어떻게 감소하고 전체 정밀도 모델과 저비트 모델 간의 용량 격차는 어떻게 해소되는가?
• RQ3 주파수 인식 변환은 저정밀도 훈련 중 기울기 흐름에 얼마나 기여하는가?
• RQ4 제안된 방법은 최소한의 아키텍처나 양자화 복잡도로 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ5 주파수 도메인 변환은 직접 양자화 대비 저비트 모델의 일반화 및 강건성 향상에 기여하는가?

주요 결과

• FAT는 하이퍼파ram터 튜닝이나 복잡한 양자화 기법 없이도 4비트 ResNet-18을 사용해 ImageNet에서 70.5%의 Top-1 정확도를 달성하여 최신 기술 수준의 성능을 초월한다.
• 4비트 MobileNet-V2에 대해 FAT는 69.2%의 Top-1 정확도를 기록하며, 전체 정밀도 모델 대비 계산량이 45.7배 감소한 최근 최신 기술 수준 결과를 초월한다.
• 모델 크기를 최대 10배(예: 3비트 ResNet-18의 경우 4.7MB) 감소시키고, BOPs를 최대 86.7배 감소시켜 높은 압축 효율성을 입증한다.
• 학습된 주파수 마스크는 대부분의 고주파 성분을 억제하여 가중치 표현의 노이즈 제거를 효과적으로 수행하고, 양자화 정밀도를 향상시킨다.
• 모바일 ARM 보드에서의 추론 결과, FAT 이후 균일 양자화기 사용 시 지연 시간이 단 398ms로, LQ-Net(929ms)이나 APoT(857ms)와 같은 복잡한 양자화기보다 훨씬 빠르게 작동한다.
• 이론적 분석을 통해 FAT가 주파수 도메인에서 뉴런 간 관계를 활용하여 양자화 오차를 감소시키고 정보가 풍부한 기울기를 가능하게 함을 확인했다.