[논문 리뷰] Acoustic scene classification in DCASE 2020 Challenge: generalization across devices and low complexity solutions

Toni Heittola, Annamaria Mesaros외 1명|arXiv (Cornell University)|2020. 05. 29.

Music and Audio Processing참고 문헌 18인용 수 40

한 줄 요약

논문은 두 subtasks를 다루는 DCASE 2020 Task 1을 분석한다: 음향 현장 분류를 위한 교차 장치 일반화와 저복잡도 모델, 데이터셋, 베이스라인, 최상위 시스템을 보고한다.

ABSTRACT

This paper presents the details of Task 1: Acoustic Scene Classification in the DCASE 2020 Challenge. The task consists of two subtasks: classification of data from multiple devices, requiring good generalization properties, and classification using low-complexity solutions. Here we describe the datasets and baseline systems. After the challenge submission deadline, challenge results and analysis of the submissions will be added.

연구 동기 및 목표

• ASC 모델의 다수 디바이스(보이지 않는 것도 포함)에 대한 일반화 조사.
• 엄격한 크기 제약 내에서 저복잡도 ASC 모델 개발 및 평가.
• 데이터 증강과 양자화/ pruning 전략을 핵심 기술로 분석 및 비교.

제안 방법

• Subtask A를 위한 실제 및 시뮬레이션 디바이스를 사용한 TAU Urban Acoustic Scenes 2020 Mobile 데이터셋 도입.
• Subtask A 베이스라인으로 CNN/MLP 기반의 Open L3 임베딩 사용.
• Subtask B에 대해 500 KB 모델 크기 한도를 설정하고 슬림 모델, 가지치기(pruning), 양자화를 탐구.
• 맥로-평균 정확도와 다중 클래스 교차 엔트로피(log loss)로 제출물 평가.
• 데이터 증강 및 후훈련 양자화와 같은 일반적인 기법으로 최상위 시스템과 공통 기술을 보고.

실험 결과

연구 질문

• RQ1 ASC 모델이 보이지 않는 디바이스를 포함한 대규모 디바이스 집합에서 얼마나 잘 일반화되는가?
• RQ2 엄격한 크기 제약을 충족하면서도 높은 정확도를 유지할 수 있는 저복잡도 모델링 기법은 무엇인가?
• RQ3 데바이스 불일치 및 자원 제한을 가장 효과적으로 해결하는 데이터 증강 및 양자화 전략은 무엇인가?

주요 결과

시스템	#	정확도	로그 손실	크기	파라미터	가중치	비고
Koutini_CPJKU_2	1	96.5 %	0.10	483.5 KB	345k	float16	pruning, post-training quantization
Hu_GT_3	3	96.0 %	0.12	490.0 KB	122k	int8	post-training quantization
McDonnell_USA_3	4	95.9 %	0.11	486.7 KB	3M	1-bit
Suh_ETRI_3	11	95.1 %	0.27	413.0 KB	207k	float16	sparse connectivity models, ensemble
Chang_QTI_1	12	95.0 %	0.22	491.2 KB	601k	float16	pruning, weight sharing across layers
Wu_CUHK_4	14	94.9 %	0.21	299.3 KB	153k	float16	depth-wise separable CNN
Lee_CAU_2	23	93.9 %	0.15	494.2 KB	126k	float32	slim model
Naranjo-Alcazar_Vfy_1	24	93.6 %	0.20	496.3 KB	127k	float32	slim model
Kwiatkowska_SRPOL_2	27	93.5 %	0.16	421.0 KB	107k	float32	depth-wise separable CNN, ensemble
Yang_UESTC_3	26	93.5 %	0.22	258.0 KB	119k	float16	slim model
Baseline	-	89.5 %	0.40	450.1 KB	115k	float32	slim model

• Subtask A는 평가 세트에서 최대 76.5% 정확도, 베이스라인은 51.4%였다.
• Subtask B는 500 KB 모델 크기 한도에서 최대 96.5% 정확도(베이스라인 89.5%)를 달성했다.
• 데이터 증강은 Subtask A에서 디바이스 일반화의 지배적 기법이었다.
• 후훈련 양자화 및 기타 모델 압축 기법으로 다수 제출물이 Subtask B 한도에 부합했다.
• 다수의 최상위 시스템은 앙상블이거나 ResNet-또는 주의 집중(attention) 영감을 받은 CNN 기반 구조였다.
• 보이지 않는 디바이스는 정확도에 도전적이지만, 많은 솔루션이 보이는/보이지 않는 디바이스 간의 일반화를 강하게 유지했다.