[논문 리뷰] Low-Complexity Models for Acoustic Scene Classification Based on Receptive Field Regularization and Frequency Damping

Khaled Koutini, Florian Henkel외 2명|arXiv (Cornell University)|2020. 11. 05.

Music and Audio Processing참고 문헌 21인용 수 8

한 줄 요약

이 논문은 저복잡도 합성곱 신경망을 위한 청각 환경 분류에서 수용장역의 정규화를 위해 주파수 감쇠 기법을 제안하며, 아키텍처 변경 없이 일반화 성능을 향상시킨다. 이 방법은 아키텍처 변경 없이도 최신 기술 수준의 성능을 달성하여 DCASE-2020 저복잡도 청각 환경 분류 도전 대회에서 1등을 차지했다. 이는 절단, 분해, 너비 감소 설정에서 모델 정확도를 향상시키는 데 기여한다.

ABSTRACT

Deep Neural Networks are known to be very demanding in terms of computing and memory requirements. Due to the ever increasing use of embedded systems and mobile devices with a limited resource budget, designing low-complexity models without sacrificing too much of their predictive performance gained great importance. In this work, we investigate and compare several well-known methods to reduce the number of parameters in neural networks. We further put these into the context of a recent study on the effect of the Receptive Field (RF) on a model's performance, and empirically show that we can achieve high-performing low-complexity models by applying specific restrictions on the RFs, in combination with parameter reduction methods. Additionally, we propose a filter-damping technique for regularizing the RF of models, without altering their architecture and changing their parameter counts. We will show that incorporating this technique improves the performance in various low-complexity settings such as pruning and decomposed convolution. Using our proposed filter damping, we achieved the 1st rank at the DCASE-2020 Challenge in the task of Low-Complexity Acoustic Scene Classification.

연구 동기 및 목표

• 저복잡도 CNN에서 수용장역 크기, 모델 복잡도, 일반화 성능 간의 상호작용을 조사한다.
• 수용장역 조건을 통제한 상황에서 파rameter 감소 기법(절단, 분해, 너비 감소)의 효과를 평가한다.
• 모델 아키텍처에 종속되지 않는 경량 수용장역 정규화 기법을 개발하여 저복잡도 모델의 일반화 성능을 향상시킨다.
• 모델 파rameter 수를 늘리지 않고도 저복잡도 청각 환경 분류에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 모델 아키텍처나 파arameter 수를 변경하지 않고 필터 가중치를 수정함으로써 어떤 CNN의 효과적 수용장역을 정규화하는 필터 감쇠 기법을 제안한다.
• 수용장역 크기를 제어하기 위해 하이퍼파ram터 ρ를 사용하여 ResNet 기반 모델에 감쇠를 적용함으로써 수용장역 영향에 대한 체계적 연구를 가능하게 한다.
• 표준 저복잡도 기법을 활용: 가중치 절단, 압축 인자 Z=4를 사용한 채널 기반 분해, 기본 채널 수를 64 또는 32로 감소.
• 기준으로 사용하기 위해 감쇠 적용 기반 모델(Damp)을 사용하며, 절단, 분해, 너비 감소 변형에서의 성능을 비교한다.
• 재학습과 가중치 초기화를 반복하는 절단 기법을 적용하고, 모든 레이어에 동일하게 감쇠를 적용하여 학습 안정성 향상과 일반화 성능 향상을 도모한다.
• 정확도와 비영 파aram터 수를 지표로 하여 DCASE’18 및 DCASE’20 데이터셋에서 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 저복잡도 CNN에서 수용장역 크기가 청각 환경 분류 성능에 미치는 영향은 어떠한가?
• RQ2 수용장역 정규화 조건 하에서, 절단, 분해, 너비 감소 중 어느 파arameter 감소 기법이 정확도 대비 복잡도의 최적 균형을 이룰 수 있는가?
• RQ3 비침습적이고 아키텍처에 종속되지 않는 기법이 파arameter 수를 늘리지 않고도 저복잡도 모델의 일반화 성능을 향상시킬 수 있는가?
• RQ4 주파수 감쇠는 저복잡도 환경에서 수용장역 크기 변화에 대한 강건성을 향상시키는가?

주요 결과

• 주파수 감쇠는 모든 저복잡도 설정에서 정확도 향상을 이끌어냈다: DCASE’20에서 감쇠 적용 ResNet은 비영 파aram터 수 1.06M로 97.45%의 정확도를 기록하며 비감쇠 기준 모델을 초월했다.
• 절단 기법이 복잡도 감소 기법 중에서 가장 높은 성능을 보였으며, DCASE’20에서 비영 파aram터 수 250K로도 97.45%의 정확도를 유지했다.
• 분해된 컨볼루션은 성능 저하가 심각했으며(97.00% 정확도), 저복잡도 환경에서 덜 강건함을 보였다.
• 감쇠를 적용한 64개 기본 채널로의 너비 감소는 DCASE’20에서 97.22%의 정확도를 기록했지만, 32개 채널로의 추가 감소는 성능 저하가 뚜렷하게 발생했다.
• DCASE’18에서 ρ=7로 설정한 감쇠 ResNet은 79.15%의 정확도를 기록하여 비감쇠 기준 모델보다 0.63%포인트 높은 성능을 보였다.
• 제안된 감쇠 기법 덕분에 모델은 저복잡도 청각 환경 분류 도전 대회에서 1등을 차지했다.