[논문 리뷰] MWQ: Multiscale Wavelet Quantized Neural Networks

Qigong Sun, Yan Ren외 4명|arXiv (Cornell University)|2021. 03. 09.

Image and Signal Denoising Methods참고 문헌 48인용 수 6

한 줄 요약

이 논문은 이산 웨이블릿 변환(DWT)을 통해 신경망 가중치와 활성화를 다중 척도 주파수 성분으로 분해하고, 각 척도별로 적응형 양자화를 적용하여 정보 손실을 줄이는 새로운 양자화 방법인 다중 척도 웨이블릿 양자화(MWQ)를 제안한다. MWQ는 저비트 양자화된 네트워크의 표현 능력과 성능을 향상시켜 ImageNet에서 최대 0.84%의 정확도 향상을 달성하고, COCO 검출 및 세분화 작업에서 0.3 이상의 AP 향상을 보인다.

ABSTRACT

Model quantization can reduce the model size and computational latency, it has become an essential technique for the deployment of deep neural networks on resourceconstrained hardware (e.g., mobile phones and embedded devices). The existing quantization methods mainly consider the numerical elements of the weights and activation values, ignoring the relationship between elements. The decline of representation ability and information loss usually lead to the performance degradation. Inspired by the characteristics of images in the frequency domain, we propose a novel multiscale wavelet quantization (MWQ) method. This method decomposes original data into multiscale frequency components by wavelet transform, and then quantizes the components of different scales, respectively. It exploits the multiscale frequency and spatial information to alleviate the information loss caused by quantization in the spatial domain. Because of the flexibility of MWQ, we demonstrate three applications (e.g., model compression, quantized network optimization, and information enhancement) on the ImageNet and COCO datasets. Experimental results show that our method has stronger representation ability and can play an effective role in quantized neural networks.

연구 동기 및 목표

• 정보 손실와 표현 능력 저하로 인한 저비트 양자화된 신경망의 성능 저하 문제를 해결한다.
• 공간적 또는 주파수 도메인 상관관계를 고려하지 않는 전통적 양자화 방법의 한계를 극복한다.
• 웨이블릿 변환으로부터 유도된 다중 척도 주파수 및 공간 정보를 활용하여 양자화된 모델의 표현 능력을 향상시킨다.
• 모델 압축, 양자화된 네트워크 최적화, 객체 검출 및 세분화에서의 특징 향상 등 다양한 응용 분야에서 MWQ의 효과를 입증한다.
• 표준 분류 외의 다양한 딥러닝 작업에서 MWQ의 유연성과 일반화 잠재력을 탐색한다.

제안 방법

• 이산 웨이블릿 변환(DWT)을 적용하여 가중치와 활성화 맵을 다중 척도 주파수 성분(저주파수 근사 및 고주파수 세부 정보)으로 분해한다.
• 각 주파수 성분을 개별적으로 처리하며, 성분의 분포에 맞춘 척도별 양자화 파rameter(범위 및 스텝 크기)를 사용하여 양자화한다.
• 역이산 웨이블릿 변환(IDWT)을 통해 양자화된 성분을 공간 도메인으로 재구성하여 신경망 내에서 사용한다.
• 양자화된 네트워크 최적화 및 모델 압축을 위해 MWQ를 학습 과정에 통합하며, 추론 시 IDWT 계산은 무시할 만큼 낮은 부하를 갖는다.
• Mask R-CNN에 웨이블릿 기반 특징 향상 기법을 적용하여 특징 맵을 분해하고 고주파수 성분을 재양자화함으로써 검출 및 세분화 성능을 향상시킨다.
• 다양한 웨이블릿 기저(예: Haar, db2, sym2, coif2)를 사용하여 다양한 신호 분해 특성에서의 안정성과 유연성을 평가한다.

실험 결과

연구 질문

• RQ1 기본 양자화 방식과 비교해 웨이블릿 기반 다중 척도 분해가 저비트 양자화된 신경망의 표현 능력을 향상시키는가?
• RQ2 웨이블릿 변환을 통한 공간적 및 주파수 도메인 정보 통합이 이미지 분류 및 객체 검출에서 양자화 모델의 성능에 어떤 영향을 미치는가?
• RQ3 극저비트 양자화(예: 4비트) 환경에서 MWQ가 정보 손실와 성능 저하를 얼마나 효과적으로 완화할 수 있는가?
• RQ4 MWQ는 모델 압축을 넘어서 객체 검출 및 인스턴스 세분화를 위한 특징 향상에 효과적으로 적용될 수 있는가?
• RQ5 다양한 웨이블릿 기저가 MWQ 프레임워크의 성능 및 안정성에 어떤 영향을 미치는가?

주요 결과

• coif2 웨이블릿 기저를 사용하여 ResNet-50을 4비트로 양자화할 경우, ImageNet의 Top-1 정확도에서 기준 모델 대비 0.84% 향상된 성과를 기록한다.
• COCO 검출 벤치마크에서 MWQ가 향상된 4비트 양자화 네트워크는 기준 모델 대비 0.3점 이상의 AP 향상을 기록했으며, 특히 coif2 웨이블릿 기저에서 가장 높은 성능 향상을 보였다.
• 시각화된 특징 맵(그림 9)을 통해 ResNet-50의 특징 맵이 상당히 향상되었음을 확인할 수 있었으며, 고주파수 세부 정보가 더 명확하게 유지됨을 알 수 있었다.
• 제안된 정보 향상 기법은 객체 검출 및 인스턴스 세분화 지표를 모두 향상시켰으며, 정밀도 및 4비트 양자화 모델 모두에서 모든 COCO 지표(AP, AP50, AP75 등)에서 0.3 이상의 AP 향상을 기록했다.
• MWQ는 전통적 양자화 방식을 초월하는 표현 능력을 갖추고 있다: 각 주파수 성분을 2^k 상태로 양자화할 경우 재구성된 신호는 2^k개 이상의 고유 상태를 표현할 수 있어 더 rich한 표현이 가능하다.
• 추론 시 추가적인 IDWT 연산이 실제로 무시할 수 있을 정도로 낮은 부하를 가지므로, 엣지 디바이스에의 배포에 적합하다.