[논문 리뷰] CNNs-based Acoustic Scene Classification using Multi-Spectrogram Fusion and Label Expansions

Weiping Zheng, Zhenyao Mo외 2명|arXiv (Cornell University)|2018. 09. 05.

Music and Audio Processing인용 수 9

한 줄 요약

이 논문은 다중 스펙트로그램 융합(스펙트로그램 변환(STFT) 및 고주파수 변환(CQT))과 레이블 확장 기반 다중 작업 학습을 사용하는 CNN 기반 음향 환경 분류 프레임워크를 제안한다. 여러 스펙트로그램에서 유도된 깊이 학습 특징을 융합하고, 클래스 간 유사성을 활용하기 위해 슈퍼클래스 레이블을 도입함으로써, LITIS 루앙 데이터셋에서 0.9744의 최고 성능을 기록하였고, DCASE2017 개발 세트에서는 0.8865의 성능을 달성하였다.

ABSTRACT

Spectrograms have been widely used in Convolutional Neural Networks based schemes for acoustic scene classification, such as the STFT spectrogram and the MFCC spectrogram, etc. They have different time-frequency characteristics, contributing to their own advantages and disadvantages in recognizing acoustic scenes. In this letter, a novel multi-spectrogram fusion framework is proposed, making the spectrograms complement each other. In the framework, a single CNN architecture is applied onto multiple spectrograms for feature extraction. The deep features extracted from multiple spectrograms are then fused to discriminate the acoustic scenes. Moreover, motivated by the inter-class similarities in acoustic scene datasets, a label expansion method is further proposed in which super-class labels are constructed upon the original classes. On the help of the expanded labels, the CNN models are transformed into the multitask learning form to improve the acoustic scene classification by appending the auxiliary task of super-class classification. To verify the effectiveness of the proposed methods, intensive experiments have been performed on the DCASE2017 and the LITIS Rouen datasets. Experimental results show that the proposed method can achieve promising accuracies on both datasets. Specifically, accuracies of 0.9744, 0.8865 and 0.7778 are obtained for the LITIS Rouen dataset, the DCASE Development set and Evaluation set respectively.

연구 동기 및 목표

• 의미적으로 유사한 환경(예: 도서관과 서점)이 별개의 클래스로 간주되는 음향 환경 분류의 과제를 해결한다.
• 시간-주파수 특성을 보완적으로 캡처하기 위해 여러 스펙트로그램(STFT, CQT, MFCC)의 융합을 통해 특징 학습을 향상시킨다.
• 스펙트럼 클러스터링을 통해 원래 클래스 간 계층적 관계를 모델링하기 위해 슈퍼클래스 레이블을 도입함으로써 모델의 일반화 능력을 향상시킨다.
• 확장된 레이블을 활용해 단일 작업 CNN을 다중 작업 학습 프레임워크로 전환하여 특징 학습을 정규화하고 분류 성능을 향상시킨다.
• 간단하면서도 효과적인 융합 및 레이블 확장 파ipeline를 통해 다양한 데이터셋에서 일관된 성능 향상을 달성한다.

제안 방법

• 표준 신호 처리 기법을 사용하여 각 음성 세그먼트에서 다중 스펙트로그램(STFT, CQT, MFCC)을 생성한다.
• 각 스펙트로그램에 대해 동일한 CNN 아키텍처(예: VGG 또는 ResNet)를 독립적으로 적용하여 깊이 학습 특징을 추출한다.
• 다양한 스펙트로그램에서 유도된 깊이 학습 특징을 각 음성 세그먼트의 전역 특징으로 결합한 후, 차원 감소를 위해 주성분 분석(PCA)을 적용한다.
• 다양한 CNN 모델의 전역 특징을 하나의 고수준 표현으로 통합하여 각 음성 세그먼트에 대한 최종 표현을 생성한다.
• 기본 분류기의 출력에 스펙트럼 클러스터링을 적용하여 원래의 환경 클래스에서 슈퍼클래스 레이블을 구성한다.
• 슈퍼클래스 분류를 보조 작업으로 추가하여 CNN 모델을 다중 작업 학습 환경에서 훈련시키며, 슈퍼클래스와 원래 클래스 간의 정규화 제약 조건을 설정한다.

실험 결과

연구 질문

• RQ1 STFT와 CQT를 사용한 다중 스펙트로그램 융합이 단일 스펙트로그램 기반 베이스라인에 비해 음향 환경 분류 정확도 향상에 기여하는가?
• RQ2 슈퍼클래스 구성에 의한 레이블 확장은 음향 환경 분류에서 특징 학습 및 모델 일반화 능력을 향상시키는가?
• RQ3 제안된 방법의 성능는 클래스 분포 특성이 다른 다양한 데이터셋에서 어떻게 변화하는가?
• RQ4 레이블 확장이 성능 향상에 기여하는 상황과 실패하거나 성능 저하를 초래하는 상황은 각각 어떤가?
• RQ5 제안된 융합 및 레이블 확장 프레임워크는 DCASE2017 및 LITIS 루앙과 같은 벤치마크 데이터셋에서 최고 성능을 달성할 수 있는가?

주요 결과

• STFT와 CQT 스펙트로그램 융합이 LITIS 루앙 데이터셋에서 최고의 정확도 0.9744를 기록하였으며, 모든 단일 스펙트로그램 기반 베이스라인보다 최대 0.013 높은 성능을 보였다.
• DCASE2017 개발 세트에서 제안된 방법은 정확도 0.8865를 달성하여 베이스라인 CNN-LSTM-GAN 방법(0.871)과 다른 최고 성능 기술을 초월하였다.
• ESC-50 데이터셋에서 레이블 확장은 정확도를 VGG-LE 기반으로 0.7145에서 0.7285로 향상시켜 클러스터 구조가 뚜렷한 데이터셋에서의 효과를 입증하였다.
• LITIS 루앙 데이터셋에서 0.9744의 정확도를 기록하였으며, 이는 이전 연구에서 보고된 최고 성능 0.978에 매우 가까운 결과이다.
• 모든 스펙트로그램 조합이 성능 향상에 기여하지는 않았다; STFT+MFCC 및 MFCC+CQT와 같은 융합은 단일 스펙트로그램 기반 베이스라인보다 낮은 정확도를 기록하여 특징 선택의 중요성을 강조하였다.
• 레이블 확장이 LITIS 루앙 데이터셋에서 일관되게 성능 향상을 이끌지 못했으며, 이는 그 효과가 데이터셋에 따라 달라지는 클래스 분포 및 클러스터의 분리 가능성에 따라 달라질 수 있음을 시사한다.