[논문 리뷰] A Lottery Ticket Hypothesis Framework for Low-Complexity Device-Robust Neural Acoustic Scene Classification

Yen, Hao, Chao-Han Huck Yang외 10명|arXiv (Cornell University)|2021. 07. 03.

Music and Audio Processing인용 수 6

한 줄 요약

이 논문은 지식 증류, 로또 티켓 가설 기반 프루닝, 데이터 증강, 양자화를 결합한 새로운 프레임워크인 Acoustic Lottery를 제안한다. 이는 저복잡도, 다기기 강인성에 적합한 신경망 음향 환경 분류기의 압축을 목적으로 한다. 모델 크기를 128 KB 이하로 압축하면서도 검증 정확도 79.4%와 로그 손실 0.64를 달성하여, 과다 파rameter화된 모델이 엣지 배포에 적합한 고성능, 소형 시스템으로 프루닝될 수 있음을 입증한다.

ABSTRACT

We propose a novel neural model compression strategy combining data augmentation, knowledge transfer, pruning, and quantization for device-robust acoustic scene classification (ASC). Specifically, we tackle the ASC task in a low-resource environment leveraging a recently proposed advanced neural network pruning mechanism, namely Lottery Ticket Hypothesis (LTH), to find a sub-network neural model associated with a small amount non-zero model parameters. The effectiveness of LTH for low-complexity acoustic modeling is assessed by investigating various data augmentation and compression schemes, and we report an efficient joint framework for low-complexity multi-device ASC, called \emph{Acoustic Lottery}. Acoustic Lottery could compress an ASC model up to $1/10^{4}$ and attain a superior performance (validation accuracy of 79.4% and Log loss of 0.64) compared to its not compressed seed model. All results reported in this work are based on a joint effort of four groups, namely GT-USTC-UKE-Tencent, aiming to address the "Low-Complexity Acoustic Scene Classification (ASC) with Multiple Devices" in the DCASE 2021 Challenge Task 1a.

연구 동기 및 목표

• 엣지 디바이스에 적합한 저복잡도, 기기 간 강인성 있는 음향 환경 분류(ASC) 모델 개발의 과제를 해결하기 위해.
• 과다 파arameter화된 ASC 모델이 일반화 능력을 잃지 않고도 소형 고성능 하위망으로 압축될 수 있는지 조사하기 위해.
• 데이터 증강, 지식 증류, 구조적 프루닝, 양자화를 통합한 공동 프레임워크를 설계하여 효율적 배포를 위한 방법을 마련하기 위해.
• DCASE 2021 챌린지 과제 1a의 요구사항인 모델 크기 128 KB 이하를 충족하면서도 다양한 기기에서 높은 성능 유지를 달성하기 위해.

제안 방법

• 큰 사전 훈련된 이단계 FCNN 교사 모델에서 작은 학생 모델로 지식을 전이하는 교사-학생 학습(지식 증류) 프레임워크를 사용한다.
• 로또 티켓 가설(LTH)을 적용하여 원래 네트워크와 동일한 난수 가중치로 초기화된 학생 모델에서 희박하고 프루닝된 하위망을 식별하고 미세조정한다.
• 혼합, 스펙트럼 증강, 톤 옮기기, 속도 변경, 노이즈 주입 등의 데이터 증강 기법을 사용하여 다양한 기기 간 일반화 능력을 향상시킨다.
• 다중 모델 헤드의 출력을 융합하여 예측 성능을 향상시키기 위해 이단계 융합 기법을 적용한다.
• 프루닝 이후, float32에서 float8로의 양자화를 적용하여 모델 크기를 추가로 감소시키며, 4배의 압축률을 달성한다.
• 최종 프레임워크인 Acoustic Lottery는 모든 구성 요소를 하나의 파ip라인으로 통합하여, 비제로 파arameter 수가 128 KB 이하인 모델을 도출한다.

실험 결과

연구 질문

• RQ1 과다 파arameter화된, 기기 간 강인한 ASC 모델은 성능을 유지하거나 향상시키면서도 상당히 압축될 수 있는가?
• RQ2 로또 티켓 가설이 저복잡도 배포를 위한 신경망 음향 모델의 효과적인 프루닝을 가능하게 하는가?
• RQ3 지식 증류와 데이터 증강이 저복잡도 ASC에서 강인성과 성능에 어떻게 공동 기여하는가?
• RQ4 프루닝 및 증류와 함께 양자화를 효과적으로 조합하여 성능 저하 없이 초소형 모델을 달성할 수 있는가?

주요 결과

• Acoustic Lottery 프레임워크는 검증 정확도 79.4%와 로그 손실 0.64를 달성하여, 프루닝되지 않은 학생 모델 기준선을 초월했다.
• LTH 프루닝은 SIC 아키텍처의 모델 크기를 약 149배 감소시켜 503KB에서 0.9KB로 줄였으며, 정확도도 67.8%에서 79.4%로 향상시켰다.
• 지식 증류와 LTH 프루닝의 조합은 기준선보다 뛰어난 성능을 내며 149배의 압축률을 달성했으며, 이는 원본 모델이 상당히 과다 파arameter화되어 있음을 확인시켰다.
• float32에서 float8로의 양자화는 4배의 압축률을 달성했지만 성능 저하를 초래했다. 그러나 네 개의 양자화된 모델을 앙상블한 결과, 비양자화 기준선을 능가하는 성능을 보였다.
• 최종 제출물은 SIC 및 LIC 모델의 네 개의 이단계 앙상블을 사용하여 개발 세트에서 최고 성능을 기록했으며, 정확도 79.4%와 로그 손실 0.64를 달성했다.
• LIC 모델는 687KB로 압축되었고, 최고 로그 손실은 0.925였으며, 파라미터 60%에서 20%로 20% 감소시킨 결과 정확도가 67.64%에서 68.59%로 향상되었다.