[논문 리뷰] Convolutional Neural Networks and x-vector Embedding for DCASE2018 Acoustic Scene Classification Challenge

Hossein Zeinali, Lukáš Burget외 1명|arXiv (Cornell University)|2018. 10. 01.

Music and Audio Processing참고 문헌 4인용 수 44

한 줄 요약

이 논문은 2D 및 1D CNN를 결합하고 x-vector 임bedding를 사용하여 음향 환경 분류를 위한 하이브리드 딥 러닝 접근법을 제시한다. 로그 멜스펙트로그램 및 CQT 특징을 융합한다. 최고의 성능을 보인 시스템은 스코어 평균화를 통한 8개 모델의 라이트 퓨전으로, DCASE2018 평가 세트에서 78.4%의 정확도를 기록하여 총 24개 팀 중 3위를 차지했다.

ABSTRACT

In this paper, the Brno University of Technology (BUT) team submissions for Task 1 (Acoustic Scene Classification, ASC) of the DCASE-2018 challenge are described. Also, the analysis of different methods on the leaderboard set is provided. The proposed approach is a fusion of two different Convolutional Neural Network (CNN) topologies. The first one is the common two-dimensional CNNs which is mainly used in image classification. The second one is a one-dimensional CNN for extracting fixed-length audio segment embeddings, so called x-vectors, which has also been used in speech processing, especially for speaker recognition. In addition to the different topologies, two types of features were tested: log mel-spectrogram and CQT features. Finally, the outputs of different systems are fused using a simple output averaging in the best performing system. Our submissions ranked third among 24 teams in the ASC sub-task A (task1a).

연구 동기 및 목표

• 딥 뉴럴 네트워크를 사용하여 DCASE2018 챌린지에 대응하는 강력한 음향 환경 분류 시스템을 개발하기 위해.
• 이미지 유사한 특징 처리를 위한 2D CNN와 x-벡터 임베딩 추출을 위한 1D CNN을 조합하는 것의 효과성을 조사하기 위해.
• 다양한 특징 유형(로그 멜스펙트로그램 및 CQT)과 다중채널 입력 구성의 성능을 평가하기 위해.
• 데이터 증강 및 융합 전략이 모델의 일반화 능력과 정확도에 미치는 영향을 분석하기 위해.
• 공개 광장 클래스에서의 실패 사례를 식별하고 향후 모델 설계 및 데이터 증강 방향을 안내하기 위해.

제안 방법

• 표준 2D CNN은 음향 특징을 2차원 이미지로 간주하고, 1D CNN은 시간적 음향 세그먼트에서 고정 길이의 x-벡터 임베딩을 학습하기 위해 사용되었다.
• 로그 멜스펙트로그램 및 일정-Q 변환(CQT) 특징을 입력으로 사용하였으며, 40ms 히브닝 윈도우, 20ms 겹침, 2048점 FFT를 사용해 추출하였다.
• 좌우(L, R), 합(L+R), 차이(L-R) 채널을 조합하여 4채널 입력 모드를 구현함으로써 공간적 및 스펙트럼적 정보의 활용을 향상시켰다.
• 동일한 환경의 음성 세그먼트를 가중 평균한 방식으로 데이터 증강을 적용하여 학습 데이터를 3배로 늘렸으며, 환경 정체성은 유지하였다.
• 간단한 출력 평균화와 로지스틱 회귀(FoCal)를 사용하여 다수의 모델을 융합하였으며, 최고의 시스템은 증강된 데이터로 훈련된 8개 모델을 융합한 것이다.
• 모델은 공식 개발 폴드에서 훈련하고, 챌린지의 공식 평가 세트에서 평가하였으며, 하이퍼파ram터 튜닝을 위해 제공된 검증 세트를 사용하였다.

실험 결과

연구 질문

• RQ1 DCASE2018 데이터셋에서 음향 환경 분류 작업에 대해 2D CNN와 x-벡터 추출을 위한 1D CNN의 성능는 어떻게 비교되는가?
• RQ2 로그 멜스펙트로그램과 CQT 특징 중 어느 것이 환경 분류 작업에서 더 기여하는가?
• RQ3 4채널 음성 특징(L, R, M, S)을 사용할 경우 단일 채널 입력보다 성능 향상이 이루어지는가?
• RQ4 외부 데이터 없이도 음성 세그먼트 혼합을 통한 단순 데이터 증강 전략이 일반화 능력 향상에 얼마나 효과적인가?
• RQ5 간단한 평균화 또는 로지스틱 회귀 기반 융합 전략 중 어느 것이 더 우수한 일반화 능력과 강건성을 보이는가?

주요 결과

• 간단한 스코어 평균화를 통한 8개 모델 융합 시스템은 평가 세트에서 78.4%의 정확도를 기록하여 총 24개 팀 중 3위를 차지했다.
• 모든 구성에서 로그 멜스펙트로그램이 CQT 특징을 능가했으며, 멜스펙트로그램 기반 시스템은 데이터 증강을 적용한 경우 최대 76.8%의 정확도를 기록했다.
• 4채널 입력 모드는 대부분의 경우 성능 향상을 이끌었으며, 특히 증강된 데이터에서 두드러졌다. 다만 일부 구성에선 성능 저하가 발생하여 훈련 동역학에 민감함을 보였다.
• 데이터 증강은 대부분의 모델에서 성능 향상을 이끌었지만, 아키텍처에 따라 효과가 달라졌으며, 2D CNN가 1D CNN보다 더 큰 이점을 얻었다.
• 간단한 스코어 평균화가 항상 로지스틱 회귀 기반 융합(FoCal)보다 우수했으며, 이는 후자의 경우 훈련 중 과적합이 발생했기 때문일 것이다.
• 공개 광장 클래스가 가장 도전적인 것으로 나타났으며, 정확도는 29.9%에 그쳤다. 이는 이 환경 유형에서 미세한 음향적 단서를 모델이 포착하지 못했음을 시사한다.