[논문 리뷰] Compression of Acoustic Event Detection Models with Low-rank Matrix Factorization and Quantization Training

Bowen Shi, Ming Sun외 4명|arXiv (Cornell University)|2019. 05. 02.

Music and Audio Processing참고 문헌 15인용 수 11

한 줄 요약

이 논문은 저차원 행렬 분해(SVD)와 양자화 학습을 융합한 하이브리드 모델 압축 기법을 제안하여, 정확도 손실을 최소화하면서도 LSTM 기반 음향 이벤트 검출(AED) 모델의 크기를 극적으로 줄인다. SVD를 사용해 순환 가중치 행렬을 압축하고, 양자화 학습을 통해 미세조정함으로써, 원본 크기의 1%로 모델 크기를 축소하면서도 AED 작업에서 거의 최신 기술 수준의 성능을 유지한다.

ABSTRACT

In this paper, we present a compression approach based on the combination of low-rank matrix factorization and quantization training, to reduce complexity for neural network based acoustic event detection (AED) models. Our experimental results show this combined compression approach is very effective. For a three-layer long short-term memory (LSTM) based AED model, the original model size can be reduced to 1% with negligible loss of accuracy. Our approach enables the feasibility of deploying AED for resource-constraint applications.

연구 동기 및 목표

• 자원 제약이 있는 산업 환경에서 계산 비용이 큰 딥 러닝 모델을 음향 이벤트 검출(AED)에 배포하는 데 도전하는 문제를 해결한다.
• LSTM 기반 AED 시스템의 정확도가 크게 떨어지지 않도록 모델 크기와 추론 비용을 줄인다.
• 저차원 행렬 분해와 양자화 학습을 함께 사용하는 통합 압축 전략의 효과성을 조사한다.
• 메모리와 처리 능력이 제한된 엣지 장치에 압축된 AED 모델을 배포할 수 있는 가능성을 입증한다.

제안 방법

• 세 층의 LSTM에서 순환 가중치 행렬($W_h^l$)에 대해 잘라낸 특이값 분해(Truncated SVD)를 적용하여, 상위-$r$개의 특이값과 특이벡터만 유지한다.
• SVD의 오른쪽 특이벡터($V_{h}^{lr}$)를 입력 가중치 행렬$W_x^l$과 공유하여, 이를 $Z_x^l \tilde{V}_{h}^{lr^T}$로 근사함으로써 파라미터 수를 줄인다.
• 정규화된 정수 표현($n$-bit 정수 표현)을 사용하는 대칭 양자화 함수 $Q_n(\mathbf{V}) = \alpha \hat{Q}_n(\hat{\mathbf{V}}) + \beta$ 를 사용해 추론 후 양자화를 구현한다. 여기서 $\hat{\mathbf{V}} = (\mathbf{V} - \beta)/\alpha$이다.
• 미세조정 중 비가역적인 양자화 함수를 통과할 때 기울기를 전파하기 위해 직선 추정기(straight-through estimator)를 사용한다.
• 양자화 후 모델을 미세조정하는 양자화 학습(QT)을 수행하며, 추론 단계에서만 양자화를 적용하는 후기 양자화(후계적, PM)와는 다릅니다.
• 압축된 행렬 $Z_h^l$, $Z_x^l$, 및 $\tilde{V}_{h}^{lr}$에 대해 또한 양자화를 적용하고, 네트워크 입력까지 양자화하여 추가로 모델을 압축한다.

실험 결과

연구 질문

• RQ1 저차원 행렬 분해와 양자화 학습을 조합하여 LSTM 기반 AED 모델을 효과적으로 압축할 수 있으며, 검출 정확도를 유지할 수 있는가?
• RQ2 특이값 유지 비율($\tau$)의 선택이 저차원 분해된 AED 모델의 정확도와 압축 비율에 어떤 영향을 미치는가?
• RQ3 압축 후 성능 유지 측면에서 양자화 학습(QT)이 후기 양자화(PM)보다 뚜렷이 뛰어나게 성능을 발휘하는가?
• RQ4 저차원 분해와 양자화를 조합했을 때, 허용 가능한 정확도 손실 범위 내에서 도달할 수 있는 최소 모델 크기는 얼마인가?
• RQ5 다양한 비트 폭(예: 4비트 대 8비트)이, 특히 양자화 학습을 통해 미세조정된 경우, 양자화된 AED 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• 저차원 행렬 분해를 $\tau = 0.6$로 적용하면 모델 크기가 0.316 MB(원본의 6%)로 줄어들며, 정확도 손실가 없이 AUC와 EER이 전체 정밀도 기준선과 유사한 성능을 유지한다.
• 8비트 양자화 학습(QT)과 조합하면 모델 크기가 0.079 MB(원본의 1.5%)로 줄어들며, 평균 AUC는 6.33%, EER은 13.26%를 기록하여 기준선 대비 AUC는 0.2% 증가, EER은 1.9% 향상되어 거의 유의미한 정확도 손실 없이 성능 유지를 확인했다.
• 4비트 양자화의 경우, 8비트 QT 모델이 4비트 PM 모델보다 뚜렷이 우수하며, EER은 7.43%로 PM의 19.24%보다 훨씬 낮게 나타나, 양자화 이후에 반드시 미세조정이 필요함을 입증했다.
• 4비트 양자화 모델에 QT를 적용하면 모델 크기가 단 0.040 MB(원본의 0.76%)로 줄어들며, 평균 AUC는 8.17%, EER은 14.94%를 기록하여 압축 효율은 매우 높고 정확도 손실는 중간 정도로 유지됨을 보였다.
• 후기 양자화(PM)는 저차원 모델에서 성능 저하가 심각하게 발생하며, 특히 4비트 정밀도에서 평균 EER이 23.48%에 이르러, 양자화 이후 반드시 미세조정이 필요함을 시사한다.
• 통합 전략은 모델 크기를 98%까지 줄여 원본 크기의 1%로 압축하면서도 정확도 손실가 거의 없어, 제한된 메모리와 컴퓨팅 자원을 가진 엣지 장치에 배포 가능함을 입증했다.