[논문 리뷰] Low-complexity acoustic scene classification for multi-device audio: analysis of DCASE 2021 Challenge systems

Irene Martín-Morató, Toni Heittola외 2명|arXiv (Cornell University)|2021. 05. 28.

Music and Audio Processing참고 문헌 17인용 수 32

한 줄 요약

저복잡도 ASC를 128 KB 모델 규모 제약 하에서 다중 디바이스에 대해 분석하고, 베이스라인, 제출물, 및 최상 시스템을 상세히 다룬다.

ABSTRACT

This paper presents the details of Task 1A Acoustic Scene Classification in the DCASE 2021 Challenge. The task targeted development of low-complexity solutions with good generalization properties. The provided baseline system is based on a CNN architecture and post-training quantization of parameters. The system is trained using all the available training data, without any specific technique for handling device mismatch, and obtains an overall accuracy of 47.7%, with a log loss of 1.473. The task received 99 submissions from 30 teams, and most of the submitted systems outperformed the baseline. The most used techniques among the submissions were residual networks and weight quantization, with the top systems reaching over 70% accuracy, and log loss under 0.8. The acoustic scene classification task remained a popular task in the challenge, despite the increasing difficulty of the setup.

연구 동기 및 목표

• 엄격한 모델 크기 제약 하에서 디바이스 불일치에 대한 강건성 조사.
• 보이는 디바이스와 보지 못한 디바이스 및 도시 간에 저복잡도 모델의 일반화 평가.
• 128 KB에서 높은 정확도를 보장하는 효과적인 기법들(증강, 가지치기, 양자화, 증류) 확인.
• 제약 장치를 위한 아키텍처 선택(잔차 네트워크, MobileNet/ EfficientNet 변형)에 대한 통찰 제공.

제안 방법

• TAU Urban Acoustic Scenes 2020 Mobile 데이터셋을 사용하고 11개 디바이스(A,B,C,D 실제; S1-S11 시뮬레이션) 및 10-클래스 현장을.
• 복잡도 계산에서 특징 추출 제외하고 모델 크기에 대해 128 KB 비제로 파라미터 한도 정의.
• 40 로그 멜밴드 에너지, 학습 후 16비트 양자화 및 10초 클립을 갖는 베이스라인 CNN.
• 매크로 평균 교차 엔트로피(로그 손실)와 재샘플링으로 순위를 위한 잭나이프 신뢰 구간으로 제출물 평가.
• 복잡도 제약 하에서 특징 선택, 증강 및 아키텍처에 대한 상위 제출물 분석.
• 보인/비보인 디바이스 및 도시의 보임/비보임 성능 비교를 통해 일반화 평가.

실험 결과

연구 질문

• RQ1 128 KB 파라미터 예산 내 다중 디바이스 불일치에서 저복잡도 ASC 모델은 어떻게 수행되는가?
• RQ2 디바이스와 도시 간 일반화를 극대화하기 위한 가장 효과적인 기법들(증강, 가지치기, 양자화, 증류)은 무엇인가?
• RQ3 보이는 디바이스와 보이지 않는 디바이스 간, 보이는 도시와 보이지 않는 도시 간 성능 차이는 무엇인가?
• RQ4 제약된 디바이스 ASC에서 정확도와 모델 크기의 균형을 가장 잘 맞추는 아키텍처은 무엇인가?
• RQ5 도메인 적응이나 학습 기법이 디바이스 불일치에 대한 강건성을 얼마나 향상시키는가?

주요 결과

시스템	로그손실 ± 95% CI	정확도 ± 95% CI (%)	크기(KB)	가중치	희소성	학습	아키텍처
Kim_QTI_2	0.72 ± 0.03	76.1 ± 0.94	121.9	int8	✓	KD	BC-ResNet
Yang_GT_3	0.74 ± 0.02	73.4 ± 0.97	125.0	int8	✓	KD	Ensemble
Koutini_CPJKU_3	0.83 ± 0.03	72.1 ± 0.99	126.2	float16	✓	grouping CNN | CP_ResNet
Heo_Clova_4	0.87 ± 0.02	70.1 ± 1.01	124.1	float16	-	KD	ResNet
Liu_UESTC_3	0.88 ± 0.02	69.6 ± 1.01	42.5	1-bit	-	-	ResNet
Byttebier_IDLab_4	0.91 ± 0.02	68.8 ± 1.02	121.9	int8	✓	grouping CNN	ResNet

• Baseline 128 KB-capable CNN with float16 quantization achieves 47.7% accuracy and 1.473 log loss on development data.
• Top submissions reach over 70% accuracy and log loss under 0.8, using residual networks and weight quantization.
• Most top systems stay near the 110–126 KB size range, close to the limit; one tiny model (29 KB) uses aggressive pruning and 16-bit quantization.
• Performance is higher on seen devices (A,B,C,S1–S3) than unseen devices (D,S7–S11), with larger gaps for lower-ranked systems.
• There is a strong correlation between seen and unseen city performance (0.95) but weaker between seen and unseen devices (0.91), indicating device mismatch as the main generalization challenge.
• Residual normalization, domain adversarial training, data augmentation (mixup, specAugment) improve generalization; knowledge distillation is notably effective in ranking.