[논문 리뷰] Domain Generalization on Efficient Acoustic Scene Classification using Residual Normalization

Byeonggeun Kim, Seunghan Yang외 2명|arXiv (Cornell University)|2021. 11. 12.

Music and Audio Processing참고 문헌 22인용 수 7

한 줄 요약

이 논문은 도메인 일반화를 가능하게 하기 위해 기기별 음향 변동을 억제하면서 클래스 구분 특징를 유지하는 주파수별 정규화 기법인 Residual Normalization(ResNorm)을 제안한다. 이는 효율적인 음향 환경 분류를 가능하게 한다. DCASE 2021 챌린지 Task1A에서 315,000개의 파라미터로 76.3%의 테스트 정확도를 달성했으며, 압축 후 61.0KB로 줄였을 때도 75.3%의 정확도를 기록하여 1등을 차지했다.

ABSTRACT

It is a practical research topic how to deal with multi-device audio inputs by a single acoustic scene classification system with efficient design. In this work, we propose Residual Normalization, a novel feature normalization method that uses frequency-wise normalization % instance normalization with a shortcut path to discard unnecessary device-specific information without losing useful information for classification. Moreover, we introduce an efficient architecture, BC-ResNet-ASC, a modified version of the baseline architecture with a limited receptive field. BC-ResNet-ASC outperforms the baseline architecture even though it contains the small number of parameters. Through three model compression schemes: pruning, quantization, and knowledge distillation, we can reduce model complexity further while mitigating the performance degradation. The proposed system achieves an average test accuracy of 76.3% in TAU Urban Acoustic Scenes 2020 Mobile, development dataset with 315k parameters, and average test accuracy of 75.3% after compression to 61.0KB of non-zero parameters. The proposed method won the 1st place in DCASE 2021 challenge, TASK1A.

연구 동기 및 목표

• 불균형한 데이터와 제한된 모델 복잡도를 가진 여러 음향 기기 간의 음향 환경 분류 과제를 해결한다.
• 낮은 파라미터 수를 유지하면서도 높은 정확도를 유지하는 효율적인 신경망 아키텍처를 개발한다.
• 기기별 특징 편향을 줄이되, 구분 정보를 손실 없이 유지함으로써 미관측 기기로의 도메인 일반화를 향상시킨다.
• 정밀도 저하를 최소화하면서도 프루닝, 양자화, 지식 증류를 통한 모델 압축을 가능하게 한다.
• 낮은 복잡도 모델에서 기기 변동에 대한 강건성을 향상시키는 새로운 정규화 방법을 설계한다.

제안 방법

• 수신장이 제한된 맥락과 확장 대신 최대 풀링을 사용하는 수정된 Broadcasting-Residual 네트워크인 BC-ResNet-ASC를 제안하여 모델 크기를 줄인다.
• 학습 가능한 스킵 커넥션을 가진 주파수별 정규화인 Residual Normalization(ResNorm)을 도입하여 유용한 특징를 유지한다.
• 하이퍼파ram터 λ로 제어되는 주파수별로 정규화된 특징와 원본 잔차 입력의 가중합으로 구성된 하이브리드 정규화 전략을 적용한다.
• 압축 과정에서 정확도 손실를 줄이기 위해 큰 교사 모델에서 작은 학생 모델로 지식을 전이하는 지식 증류를 적용한다.
• 구조적 프루닝(89% 프루닝 비율)과 혼합 정밀도 양자화(컨볼루션은 8비트, 정규화는 16비트)를 적용하여 모델 크기를 61.0KB로 줄였다.

실험 결과

연구 질문

• RQ1 경량 신경망 아키텍처가 기기별 변동에 강건성을 유지하면서도 높은 정확도를 달성할 수 있는가?
• RQ2 잔차 스킵 경로를 가진 주파수별 정규화(ResNorm)가 표준 정규화나 특징 변환 기법보다 미관측 기기로의 일반화 성능 향상에 얼마나 효과적인가?
• RQ3 프루닝, 양자화, 지식 증류와 같은 모델 압축 기법을 통해 낮은 복잡도의 음향 환경 분류 모델의 크기를 줄일 수 있을까? 성능 저하 없이 얼마나 줄일 수 있는가?
• RQ4 제안된 ResNorm 모듈이 보다 많은 기기들(특히 도메인 불균형 상황에서)에서 성능 향상에 기여하는가?
• RQ5 ResNorm의 하이퍼파ram터 λ를 0.1로 고정함으로써 다양한 모델 크기에서 정규화와 특징 유지 간의 균형을 유지할 수 있는가?

주요 결과

• Residual Normalization를 적용한 BC-ResNet-ASC-1 모델은 65.8%의 테스트 정확도를 기록하여 베이스라인 대비 6% 향상되었으며, 특히 미관측 기기에서의 성능 향상이 두드러졌다.
• Residual Normalization는 본래의 기기와 미관측 기기 간의 정확도 격차를 줄였으며, 소형 모델에서 기기 A에 대해 3.0% 향상되었고, 기기 A에 대해 8.2% 향상되었다. FreqIN 대비 성능 향상이 뚜렷했다.
• 전체 모델(BC-ResNet-ASC-8 + ResNorm)은 TAU Urban Acoustic Scenes 2020 Mobile 개발 세트에서 단지 315,000개의 파라미터로 76.3%의 테스트 정확도를 달성했다.
• 89% 프루닝, 8비트 양자화, 지식 증류를 통해 압축한 후, 비영점 파라미터 수가 61.0KB로 줄었고, 이에 따라 75.3%의 테스트 정확도를 기록했다.
• 제거 실험(ablation study) 결과, ResNorm 모듈을 제거하면 소형 모델에서는 성능이 향상되나(67.1%), 더 큰 모델에서는 성능이 1% 저하되어, λ의 적응적 튜닝이 필요함을 시사했다.
• 스킵 커넥션을 제거한 'w/o shortcut' 실험(즉, FreqIN에 해당)은 소형 모델에서 기기 A에서 ResNorm 대비 8.2% 낮은 정확도를 기록하여, 식별 스킵 연결의 중요성을 확인했다.