[논문 리뷰] SoundCLR: Contrastive Learning of Representations For Improved Environmental Sound Classification

Alireza Nasiri, Jianjun Hu|arXiv (Cornell University)|2021. 03. 02.

Music and Audio Processing참고 문헌 44인용 수 16

한 줄 요약

SoundCLR는 원시 음성 및 로그-멜 스펙트로그램에 강력한 데이터 증강을 적용하면서 감독 대비 학습과 교차 엔트로피 손실을 조합한 하이브리드 손실 훈련 프레임워크를 제안한다. 이는 클래스 표현을 분리하고 노이즈에 대한 강건성을 향상시켜 ESC-10에서 99.75%, ESC-50에서 93.4%, US8K에서 86.49%의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Environmental Sound Classification (ESC) is a challenging field of research in non-speech audio processing. Most of current research in ESC focuses on designing deep models with special architectures tailored for specific audio datasets, which usually cannot exploit the intrinsic patterns in the data. However recent studies have surprisingly shown that transfer learning from models trained on ImageNet is a very effective technique in ESC. Herein, we propose SoundCLR, a supervised contrastive learning method for effective environment sound classification with state-of-the-art performance, which works by learning representations that disentangle the samples of each class from those of other classes. Our deep network models are trained by combining a contrastive loss that contributes to a better probability output by the classification layer with a cross-entropy loss on the output of the classifier layer to map the samples to their respective 1-hot encoded labels. Due to the comparatively small sizes of the available environmental sound datasets, we propose and exploit a transfer learning and strong data augmentation pipeline and apply the augmentations on both the sound signals and their log-mel spectrograms before inputting them to the model. Our experiments show that our masking based augmentation technique on the log-mel spectrograms can significantly improve the recognition performance. Our extensive benchmark experiments show that our hybrid deep network models trained with combined contrastive and cross-entropy loss achieved the state-of-the-art performance on three benchmark datasets ESC-10, ESC-50, and US8K with validation accuracies of 99.75\%, 93.4\%, and 86.49\% respectively. The ensemble version of our models also outperforms other top ensemble methods. The code is available at https://github.com/alireza-nasiri/SoundCLR.

연구 동기 및 목표

• 다른 클래스의 샘플을 분리하는 표현을 학습하여 환경 음성 분류(ESC)의 성능을 향상시키기 위해.
• 표준 교차 엔트로피 손실의 일반화 능력이 제한된 점을 해결하기 위해, 클래스 간 간격을 증대시키는 감독 대비 손실을 도입하기 위해.
• 전이 학습과 강력한 데이터 증강을 활용하여 소규모 ESC 데이터셋에서의 성능을 향상시키기 위해.
• 대비 및 교차 엔트로피 손실을 조합한 하이브리드 손실 훈련의 효과가 모델 정확도와 강건성 향상에 기여하는지 평가하기 위해.
• 대비 학습이 실제 음성에서 배경 노이즈에 대한 모델 강건성을 향상시킬 수 있는지 입증하기 위해.

제안 방법

• 특징 추출을 위해 ImageNet에서 미리 훈련된 ResNet-50 백본을 사용하며, 음성 스펙트로그램에 대해 파인튜닝한다.
• 감독 대비 손실과 교차 엔트로피 손실을 조합한 하이브리드 손실 함수를 사용하며, 기여도를 조절하는 하이퍼파rameter α를 포함한다.
• 대비 손실은 동일 샘플의 증강된 뷰(양성 쌍)는 서로 가까이 모으고, 다른 클래스의 샘플(음성 쌍)은 서로 멀리 떨어뜨리는 표현 공간에서의 동작을 수행한다.
• 데이터 증강은 원시 음성 신호와 그 로그-멜 스펙트로그램 양쪽에 적용되며, 스펙트로그램에 마스킹을 적용하여 강건성을 향상시킨다.
• α = 0.5에서 모든 데이터셋에서 최적의 성능을 기록하여, 병합된 손실을 기반으로 종합적으로 훈련한다.
• 다섯 개의 독립적으로 훈련된 ResNet-50 모델의 예측을 평균화하여 앙상블 모델을 생성한다.

실험 결과

연구 질문

• RQ1 표준 교차 엔트로피 훈련에 비해 감독 대비 학습이 환경 음성 분류에서 표현 학습 성능을 향상시키는가?
• RQ2 대비 손실과 교차 엔트로피 손실을 조합하면 소규모 음성 데이터셋에서 분류 정확도에 어떤 영향을 미치는가?
• RQ3 로지스틱-멜 스펙트로그램에 기반한 마스킹 기반 데이터 증강이 모델 일반화 능력 향상에 어떤 영향을 미치는가?
• RQ4 하이브리드 손실 프레임워크는 테스트 세트에서 배경 노이즈에 대한 강건성을 어떻게 향상시키는가?
• RQ5 제안된 방법이 ESC-10, ESC-50, US8K와 같은 표준 ESC 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• α = 0.5에서 하이브리드 손실가 모든 세 데이터셋에서 최고의 검증 정확도를 기록하여 상호 보완적 최적화의 효과를 확인했다.
• SoundCLR는 ESC-10에서 99.75%의 정확도, ESC-50에서 93.4%, US8K에서 86.49%의 정확도를 기록하여 새로운 최신 기술 수준 성능을 수립했다.
• 하이브리드 손실로 훈련된 다섯 개의 ResNet-50 모델 앙상블은 ESC-50에서 93.6%의 정확도, US8K에서는 88.01%의 정확도를 기록하여 이전 앙상블 방법을 초월했다.
• 대비 손실로 훈련된 모델는 화이트 노이즈 조건에서 정확도 감소 속도가 느려져, 더 큰 클래스 간 간격 덕분에 강건성이 향상됨을 시사했다.
• 로지스틱-멜 스펙트로그램에 기반한 마스킹 기반 증강은 특히 노이즈 조건에서 인식 성능 향상에 뚜렷한 기여를 하였다.
• 순수 교차 엔트로피 또는 순수 대비 손실 훈련에 비해 하이브리드 훈련 전략이 우수한 성능을 보이며, 복합 감독의 이점을 입증했다.