[논문 리뷰] Sound Context Classification Basing on Join Learning Model and Multi-Spectrogram Features

Dat Ngo, Hao Hoang외 3명|arXiv (Cornell University)|2020. 05. 26.

Music and Audio Processing참고 문헌 53인용 수 9

한 줄 요약

이 논문은 다중 스펙트로그램 특징과 병렬 컨볼루션 및 순환 네트워크를 결합한 새로운 공동 학습 아키텍처를 활용한 음향 환경 분류(ASC)를 위한 딥러닝 프레임워크를 제안한다. 이 방법은 LITIS 루앙 데이터셋에서 99.1%의 정확도를 달성하며, DCASE 2016–2018 벤치마크에서 상위 등급에 위치하여 다양한 데이터셋과 기록 조건 간의 강건성을 입증한다.

ABSTRACT

In this paper, we present a deep learning framework applied for Acoustic Scene Classification (ASC), the task of classifying scene contexts from environmental input sounds. An ASC system generally comprises of two main steps, referred to as front-end feature extraction and back-end classification. In the first step, an extractor is used to extract low-level features from raw audio signals. Next, the discriminative features extracted are fed into and classified by a classifier, reporting accuracy results. Aim to develop a robust framework applied for ASC, we address exited issues of both the front-end and back-end components in an ASC system, thus present three main contributions: Firstly, we carry out a comprehensive analysis of spectrogram representation extracted from sound scene input, thus propose the best multi-spectrogram combinations. In terms of back-end classification, we propose a novel join learning architecture using parallel convolutional recurrent networks, which is effective to learn spatial features and temporal sequences of spectrogram input. Finally, good experimental results obtained over benchmark datasets of IEEE AASP Challenge on Detection and Classification of Acoustic Scenes and Events (DCASE) 2016 Task 1, 2017 Task 1, 2018 Task 1A & 1B, LITIS Rouen prove our proposed framework general and robust for ASC task.

연구 동기 및 목표

• 음향 환경 분류(ASC)에서 환경 음향의 변동성, 겹치는 주파수 대역, 낮은 신호 대 잡음비 등의 과제를 해결하기 위해.
• 다양한 스펙트로그램 유형(예: 로그-멜, CQT, GAM, STFT)을 체계적으로 분석하고 조합하여 더 높은 구분 능력을 갖춘 특징 표현을 향상시키기 위해.
• 스펙트로그램의 텍스처(공간적 특징)와 시퀀스의 동적 특징(시간적 특징)을 모두 포착할 수 있는 강건한 백엔드 분류기 개발을 위해.
• 표준화된 벤치마크(DCASE 2016–2018, LITIS 루앙)에서 프레임워크를 평가하여 다양한 데이터셋과 기록 조건 간의 일반화 능력과 강건성을 입증하기 위해.

제안 방법

• 로그-멜, CQT, 감마톤(GAM), STFT 스펙트로그램을 조합하여 저수준 음성 표현을 풍부하게 하는 다중 스펙트로그램 입력 전략을 적용한다.
• 병렬 브랜치로 구성된 공동 학습 아키텍처를 설계: 하나는 1D-CNN을 사용한 공간적 특징 추출, 다른 하나는 Bi-LSTM 네트워크를 사용한 시간적 시퀀스 모델링.
• 병렬 브랜치의 출력을 후기 융합(요소별 연결) 방식으로 융합한 후, 완전 연결층을 사용해 최종 분류를 수행한다.
• Adam 최적화를 사용한 교차 엔트로피 손실을 기반으로 엔드 투 엔드 모델을 훈련시키며, 데이터 증강과 드롭아웃을 활용해 정규화를 수행한다.
• 다양한 스펙트로그램 조합의 예측을 융합하는 후기 융합 전략을 적용하여 입력 변동에 대한 강건성을 향상시킨다.
• 표준 전처리 절차를 적용: 1초 단위로 음성 분할, 정규화, 하닝 윈도우와 10ms 히프 사이즈를 사용한 멜 스케일 스펙트로그램 계산.

실험 결과

연구 질문

• RQ1 로그-멜, CQT, GAM, STFT 스펙트로그램 유형의 어떤 조합이 ASC에 가장 구분 능력 있는 특징을 제공하는가?
• RQ2 CNN과 RNN을 병합한 공동 학습 아키텍처가 스펙트로그램 내 공간적 및 시간적 패턴을 효과적으로 모델링하여 ASC 성능을 향상시킬 수 있는가?
• RQ3 제안된 다중 스펙트로그램 및 공동 학습 프레임워크는 다양한 데이터셋과 기록 조건(예: 기기 불일치) 간에 일반화되는가?
• RQ4 다양한 스펙트로그램 입력의 후기 융합 전략이 단일 특징 기반 베이스라인에 비해 정확도와 강건성을 향상시키는가?
• RQ5 DCASE 2016–2018 및 LITIS 루앙과 같은 표준 ASC 벤치마크에서 제안된 시스템은 최고 수준의 모델들과 비교해 어떤가?

주요 결과

• 로그-멜, CQT, 감마톤 스펙트로그램의 조합가 가장 높은 성능을 기록하여 LITIS 루앙 데이터셋에서 99.1%의 정확도를 달성했다.
• DCASE 2016 Task 1에서 시스템은 89.2%의 정확도를 기록했으며, 모든 참가자 중 두 번째로 높은 순위를 차지했고, 최고 성능 시스템 중 상위 3개 이내에 포함되었다.
• DCASE 2018 Task 1A에서 모델은 77.8%의 정확도를 기록했으며, 상위 4위에 진입하여 해당 데이터셋에서 발표된 모든 최고 성능 시스템을 능가했다.
• DCASE 2018 Task 1B에서는 67.5%의 정확도를 기록했으며, 기기 불일치 상황에서도 강건성을 입증했고, 상위 성능 시스템과 경쟁력 있는 성능을 보였다.
• 병렬 CNN 및 Bi-LSTM 브랜치를 가진 공동 학습 아키텍처는 단일 브랜치 모델 대비 특징 학습 능력이 뚜렷이 향상되었으며, 추론 실험을 통해 검증되었다.
• 다중 스펙트로그램 입력 전략은 단일 스펙트로그램 기반 베이스라인보다 일관되게 뛰어난 성능을 보였으며, 보완적인 주파수 및 시간 표현의 가치를 확인했다.